Чип Jalapeño від OpenAI перевершує флагманський NVIDIA GB300 потужністю 1400 Вт

OpenAI у рамках конференції Hot Chips заявила, що її власний чип для ШІ Jalapeño перевершує флагманську систему NVIDIA GB300 потужністю 1400 Вт.

Зазначається, що чип Jalapeño для обробки даних ШІ, розроблений OpenAI спільно з Broadcom, продемонстрував в 1,5-1,9 рази вищу пропускну здатність на кВт та в 1,7-3,6 разів меншу наскрізну затримку порівняно зі стійковими системами NVIDIA GB200 та 300 за результатами загальнодоступного пакету тестів InferenceX від SemiAnalysis. 

Версія чипа потужністю 700 Вт порівнювалась з прискорювачами NVIDIA потужністю 1200 та 1400 Вт відповідно. OpenAI планує почати використовувати власний чип у ЦОД до кінця нинішнього року.

Під час тестів використовувались 3 моделі — GPT-OSS 120B, DeepSeek R1 670B та Kimi K2.5 від Moonshot AI з 1 трлн параметрів. В OpenAI заявляють про найбільшу перевагу в режимах роботи з низькою затримкою зі збільшенням пропускної здатності на кВт у 8,6–104,3 рази за найшвидших попередніх налаштувань часу між токенами для GB300.

OpenAI нормувала результати відповідно до опублікованого значення TDP кожного прискорювача, хоча зазначила, що під час тестування виміряна тривала потужність Jalapeño залишалася на рівні 550 Вт або нижче. Порівняння, наведене в додатку, в якому використовується загальна корисна потужність на один прискорювач (1,18 кВт для Jalapeño проти 2,55 кВт для GB300), показує менші розриви; аналогічна ситуація спостерігається за порівняння Jalapeño з GB300, що працює в режимі прогнозування з кількома токенами, де пікова перевага в ефективності скорочується приблизно у 1,5 рази.

Jalapeño не порівнювали з Vera Rubin. У ключових порівняльних тестах прогнозування на основі одного токену, реалізоване у Jalapeño, порівнювалось з конфігураціями GB300, хоча у виробничому середовищі NVIDIA зазвичай використовує прогнозування на основі кількох токенів.

SemiAnalysis, яка за словами інженерів OpenAI, проводила тестування InferenceX в лабораторії, описала Jalapeño як чип, що перевершує всі аналоги від NVIDIA, AMD та Google, які вдалось протестувати. 

Кожен чип Jalapeño поєднує обчислювальний кристал з шістьма стеками HBM4 загальним обсягом  216 ГіБ зі швидкістю 15,4 ТБ/с. GB300 містить 288 ГБ HBM3E за номінальної потужності 1400 Вт. Тому на кожен ват номінальної потужності чип OpenAI містить приблизно на 50% більше пам’яті.

В компанії заявили, що найпроблемнішим місцем поточної архітектури є забезпечення сумарної пропускної здатності HBM, а не її збільшення. Наразі цей тип пам’яті залишається найдефіцитнішим товаром напівпровідникової індустрії. Samsung, SK hynix та Micron вже продали потужності з виробництва HBM до 2027 року.

Дефіцит настільки серйозний, що за чутками, NVIDIA тестує урізані конфігурації Rubin Ultra з обсягом усього 192 ГБ. Гендиректор SK Hynix Квак Но-джун вже попередив, що 2027 рік стане найгіршим через дефіцит пам’яті. 

За інформацією Bloomberg, другий етап розробки Jalapeño наближається до завершення. Очікується, що чип буде повністю готовий вже за кілька місяців. Вже також ведеться робота над третім поколінням. 

Джерело: Tom’s Hardware