ШІ вийшов на новий рівень: розробникам вдалося подолати важливу перешкоду

Оскільки інструменти ШІ розширюються за масштабом та складністю, прорив NVIDIA дозволяє їм обслуговувати більше користувачів швидше, пише Interesting Engineering

У виданні зазначають, що основна проблема великих моделей штучного інтелекту полягає не лише в їхньому розмірі. Труднощі також виникають, коли ШІ намагається генерувати новий контент, використовуючи величезні запаси попередніх вхідних даних, які називаються "контекстом".

Кожне слово, яке генерує ШІ, вимагає сканування попередніх токенів, що зберігаються в так званому KV-кеші. Зчитування цього кешу знову і знову навантажує пропускну здатність пам'яті графічного процесора.

Раніше розробники використовували тензорний паралелізм (TP) для розподілу цього навантаження між графічними процесорами. Однак це допомагає лише до певного моменту, після якого графічні процесори починають дублювати тензорний кеш, ще більше перевантажуючи пам'ять.

Helix Parallelism розв’язує цю проблему, розподіляючи масивний KV-кеш між графічними процесорами за допомогою нового методу, який називається KV Paralelism (KVP). Замість того, щоб кожен графічний процесор зчитував усю історію токенів, кожен обробляє лише її частину.Це дозволяє уникнути дублювання та забезпечує ефективний доступ до пам'яті.

Важливо Людей обурила "неадекватна" реклама ШІ від Samsung: що з нею не так (відео)

Моделювання з використанням DeepSeek-R1 671B показало, що Helix може обслуговувати до 32 разів більше користувачів з тією ж затримкою порівняно зі старими методами. Окрім того, технологія скорочує час очікування відповіді.

Навіть коли контексти ШІ сягають мільйонів слів, технологія підтримує баланс використання пам'яті та стабільну пропускну здатність. Це означає, що різні боти зі штучним інтелектом тепер можуть витримувати величезні навантаження, залишаючись швидкими.

Нагадаємо, дослідники з Helmholtz Munich створили передову систему ШІ під назвою Centaur, здатну з дивовижною точністю імітувати прийняття рішень людиною.

Фокус також писав про те, що низка користувачів чат-бота ChatGPT від OpenAI помітили у списку доступних інструментів нову функцію Study Together.