Ускорители AMD Instinct MI300X успешно конкурируют с Nvidia H100 в новых тестах MLPerf v4.1

Появились данные тестирования ускорителей искусственного интеллекта AMD в новом наборе тестов MLPerf Inference v4.1 от MLCommons.

Этот тест симулирует разные рабочие нагрузки, характерные для работы с ИИ.

И по результатам этих тестов решения AMD Instinct MI300X весьма достойно конкурируют с популярными ускорителями Nvidia H100.

Протестированы серверные системы на базе новых процессоров AMD EPYC Turin, которые используют ядра на новой архитектуре Zen 5.

Для оценки производительности AMD представила результаты ускорителей Instinct MI300X, которые работали в составе системы Supermicro AS-8125GS-TNMR2.

Графические процессоры работают на открытой программной платформе AMD ROCm.

Тест в основном сосредоточен на использовании модели ИИ LLaMA2-70B с 70 миллиардами параметров.

Тесты проведены в автономном режиме, который сфокусирован на максимальной пропускной способности токенов в секунду, и в серверных сценариях, где имитируются запросы в реальном времени с ограничением по задержке.

Сервер с процессором EPYC 9374F Genoa и восемью ускорителями Instinct MI300X показал результат 21028 токенов/сек в серверных сценариях, что максимально близко к результату 21605 токенов/сек серверной системы Nvidia DGX100 с процессором Xeon.

А система на базе нового процессора EPYC Turin показала лучший результат 22021 токенов/сек.

В офлайновых тестах Nvidia DGX100 удерживает лидерство, хотя разница с конфигурацией Turin + MI300X минимальная.

Это показывает, что решения AMD для ИИ не уступают сверхпопулярным Nvidia H100.

Это показывает, что решения AMD для ИИ не уступают сверх популярным Nvidia H100.

AMD Instinct MI300X использует чип на архитектуре CDNA 3 и оснащается 192 ГБ памяти HBM3.

Скоростная шина Infinity Fabric позволяет эффективно объединять эти устройства в вычислительные кластеры.

AMD говорит о почти линейном масштабировании производительности при переходе от одного ускорителя к восьми MI300X.

Благодаря большому объему памяти платформа AMD имеет хороший потенциал для поддержки новых больших языковых моделей LLM.

Это уже привело к партнерству AMD и Meta для поддержки LLa.

Ma 3.1 405B.