Представлен огромный чип Cerebras WSE-3 с 900 тысячами ядер для вычислений ИИ

Cerebras Systems представила специализированный чип для вычислений искусственного интеллекта, который относится к третьему поколению чипов Cerebras.

И это настоящий полупроводниковый «монстр» рекордного размера.

Чип Cerebras WSE-3 насчитывает 900 тысяч ядер и 4 триллиона транзисторов.

Чип WSE-3 (Wafer Scale Engine) является цельной кремниевой пластиной общей площадью 46 225 мм², что в 57 раз больше, чем у чипа Nvidia H100.

Произведен мегачип по 5-нм технологии TSMC.

Такой мегачип оптимизирован для обучения нейросетей со сложностью до 24 триллионов параметров.

Его пиковая производительность в ИИ-вычислениях должна достигать 125 петафлопс.

У WSE-3 44 ГБ встроенной памяти SRAM при пропускной способности 21 петабайт в секунду.

Также он может поставляться в конфигурации с 1,5 ТБ, 12 ТБ или 1,2 ПБ внешней памяти.

Отметим, что предыдущий чип Cerebras WSE-2 насчитывал лишь 2,6 триллиона транзисторов, 400 тысяч ядер и был оснащен меньшим объемом памяти.

Стоимость WSE-3 не озвучена, но можно предположить, что она будет намного выше специализированных ускорителей Nvidia H100, которые продаются в среднем по 30 тысяч долларов.

Также Cerebras Systems анонсировала суперкомпьютер CS-3 AI, который может обучать модели в 10 раз больше GPT-4 и Gemini.

Суперкомпьютер CS-3 AI предназначен для корпоративных и «гипермасштабных» пользователей, обеспечивая гораздо более высокую производительности в сравнении с любыми современными графическими процессорами.

Известно, что 64 системы CS-3 будут использоваться в суперкомпьютере Condor Galaxy 3, который обеспечит производительность ИИ на уровне 8 экзафлопс.