ИИ вышел на новый уровень: разработчикам удалось преодолеть важное препятствие

Поскольку инструменты ИИ расширяются по масштабу и сложности, прорыв NVIDIA позволяет им обслуживать больше пользователей быстрее, пишет Interesting Engineering

В издании отмечают, что основная проблема больших моделей искусственного интеллекта заключается не только в их размере. Трудности также возникают, когда ИИ пытается генерировать новый контент, используя огромные запасы предыдущих входных данных, которые называются "контекстом".

Каждое слово, которое генерирует ИИ, требует сканирования предыдущих токенов, хранящихся в так называемом KV-кэше. Считывание этого кэша снова и снова нагружает пропускную способность памяти графического процессора.

Helix Parallelism решает эту проблему, распределяя массивный KV-кэш между графическими процессорами с помощью нового метода, который называется KV Paralelism (KVP). Вместо того чтобы каждый графический процессор считывал всю историю токенов, каждый обрабатывает только ее часть. Это позволяет избежать дублирования и обеспечивает эффективный доступ к памяти.

Важно Людей возмутила "неадекватная" реклама ИИ от Samsung: что с ней не так (видео)

Моделирование с использованием DeepSeek-R1 671B показало, что Helix может обслуживать до 32 раз больше пользователей с той же задержкой по сравнению со старыми методами. Кроме того, технология сокращает время ожидания ответа.

Даже когда контексты ИИ достигают миллионов слов, технология поддерживает баланс использования памяти и стабильную пропускную способность. Это означает, что различные боты с искусственным интеллектом теперь могут выдерживать огромные нагрузки, оставаясь быстрыми.

Фокус также писал о том, что ряд пользователей чат-бота ChatGPT от OpenAI заметили в списке доступных инструментов новую функцию Study Together.