Microsoft запускает виртуальные машины на платформе Azure на базе ускорителей Nvidia H100

Компания Microsoft объявила о запуске новых виртуальных машин в рамках облачной платформы Microsoft Azure, которые ориентированы на ускорение генеративных нейросетей с использованием ускорителей Nvidia H100.

Компания реализует свой десятилетний опыт в области суперкомпьютеров для создания мощной инфраструктуры ИИ, способной обеспечить высокую производительность и масштабируемость.

Новые машины позволяют ускорить модели генеративного искусственного интеллекта от Microsoft и другие клиентские решения.

Новые виртуальные машины в том числе обеспечат функционирование известного чат-бота ChatGPT от OpenAI.

Напомним, что результатом сотрудничества Microsoft и OpenAI уже стала интеграция чат-бота в поисковик Bing.

Также на подходе новая версия бота на базе улучшенной и мультимодальной нейросети GPT-4.

Microsoft представляет виртуальную машину ND H100 v5, которая позволяет использовать от восьми до нескольких тысяч графических процессоров Nvidia H100, связанных между собой сетью Nvidia Quantum-2 Infini.

Обещан существенный рост производительности для моделей ИИ по сравнению с виртуальными машинами ND A100 v4.

Основные особенности новых виртуальных машин ND H100 v5 таковы:.

От 8 графических процессоров NVIDIA H100 с тензорными ядрами, объединённые через NVSwitch и NVLink 4.0;.

400 Гбит/с NVIDIA Quantum-2 CX7 Infini.

Band на GPU и 3,2 Тбит/с на виртуальную машину в неблокируемой сети fat-tree;.

NVSwitch and NVLink 4.0 с пропускной возможностью 3,6 ТБ/с между 8 локальными GPU в рамках одной виртуальной машины;.

Процессоры Intel Xeon Scalable4-го поколения;.

Соединение между хостом и GPU по интерфейсу PCIE Gen5 с пропускной способностью 64 ГБ/с на GPU;.

16 каналов памяти DDR5 DIMM 4800 МГц.

Microsoft видит большой потенциал в развитие технологий ИИ и продолжает тесное сотрудничество с OpenAI, Inflection и Nvidia для масштабного внедрения новых возможностей.

Платформа Microsoft Azure предусматривает разные службы для работы с ИИ, включая Azure Machine Learning, Azure OpenAI Service и другие.

Доступность облачной платформы Microsoft Azure с производительными виртуальными машины откроет новые возможности для реализации крупномасштабных моделей ИИ.