/https%3A%2F%2Fs3.eu-central-1.amazonaws.com%2Fmedia.my.ua%2Ffeed%2F53%2F830be14d811ef251fb7559f2071262d9.jpg)
ИИ вышел на новый уровень: разработчикам удалось преодолеть важное препятствие
Компания NVIDIA представила технологию, способную радикально улучшить работу моделей искусственного интеллекта (ИИ) в больших контекстах. Эта инновация, получившая название Helix Parallelism, позволяет обрабатывать миллионы слов одновременно, обеспечивая мгновенные ответы.
Поскольку инструменты ИИ расширяются по масштабу и сложности, прорыв NVIDIA позволяет им обслуживать больше пользователей быстрее, пишет Interesting Engineering
В издании отмечают, что основная проблема больших моделей искусственного интеллекта заключается не только в их размере. Трудности также возникают, когда ИИ пытается генерировать новый контент, используя огромные запасы предыдущих входных данных, которые называются "контекстом".
Каждое слово, которое генерирует ИИ, требует сканирования предыдущих токенов, хранящихся в так называемом KV-кэше. Считывание этого кэша снова и снова нагружает пропускную способность памяти графического процессора.
Helix Parallelism решает эту проблему, распределяя массивный KV-кэш между графическими процессорами с помощью нового метода, который называется KV Paralelism (KVP). Вместо того чтобы каждый графический процессор считывал всю историю токенов, каждый обрабатывает только ее часть. Это позволяет избежать дублирования и обеспечивает эффективный доступ к памяти.
Моделирование с использованием DeepSeek-R1 671B показало, что Helix может обслуживать до 32 раз больше пользователей с той же задержкой по сравнению со старыми методами. Кроме того, технология сокращает время ожидания ответа.
Даже когда контексты ИИ достигают миллионов слов, технология поддерживает баланс использования памяти и стабильную пропускную способность. Это означает, что различные боты с искусственным интеллектом теперь могут выдерживать огромные нагрузки, оставаясь быстрыми.
Фокус также писал о том, что ряд пользователей чат-бота ChatGPT от OpenAI заметили в списке доступных инструментов новую функцию Study Together.

