Крошечный суперкомпьютер может запустить ИИ-модели с 200 миллиардами параметров: детали

На выставке CES 2025 генеральный директор Nvidia Дженсен Хуан анонсировал компьютер DIGITS. Об этом пишет Interesting Engineering.

DIGITS — персональный суперкомпьютер с искусственным интеллектом, призванный расширить возможности исследователей, специалистов по обработке данных и студентов по всему миру.

В основе устройства лежит Nvidia GB10 Grace Blackwell Superchip, предлагающий петафлопс производительности с точностью FP4. Эта система на чипе (SoC) объединяет графический процессор Blackwell с ядрами CUDA и тензорными ядрами с центральным процессором Grace, построенным на архитектуре Arm. GB10 использует NVLink-C2C для бесшовной связи между чипами, обеспечивая высокую производительность.

Компьютер имеет 128 ГБ унифицированной памяти и до 4 ТБ хранилища NVMe, что позволяет ему обрабатывать модели ИИ с 200 миллиардами параметров. Объединив две системы DIGITS через сеть NVIDIA ConnectX, пользователи могут расширить эту возможность, управляя моделями с 405 миллиардами параметров.

DIGITS легко интегрируется в экосистему ИИ Nvidia. Пользователи могут прототипировать модели ИИ локально на своих системах, работающих под управлением ОС Nvidia DGX на базе Linux, и легко масштабировать эти модели в облачных средах Nvidia DGX или центрах обработки данных.

Разработчики имеют доступ к богатому набору инструментов через каталог Nvidia NGC, включая комплекты разработки ПО, фреймворки и другие инструменты. Расширенные приложения ИИ могут быть созданы с использованием Nvidia Blueprints, микросервисов NIM и фреймворка NeMo для тонкой настройки моделей. Поддержка популярных инструментов, таких как PyTorch и Jupyter Notebooks, повышает удобство использования.

Когда приложения готовы к развертыванию, лицензия Nvidia AI Enterprise обеспечивает необходимую безопасность и поддержку корпоративного уровня, гарантируя плавный переход от экспериментов к производству.