Meta представила "мощнейший" суперкомпьютер, который заставит ИИ учиться быстрее

Корпорация Meta (бывшая Facebook) представила суперкомпьютер AI Research SuperCluster (RSC), который может стать самым быстрым в мире. Подробности опубликованы в официальном пресс-релизе.

Организация утверждает, что RSC уже спроектирован и построен, а после окончательного завершения настройки в 2022 году пробьет экзафлопсный барьер (миллиард миллиардов операций в секунду) и затмит по производительности все суперкомпьютеры с искусственным интелектом. Исследователи уже начали использовать машину для обучения крупных моделей обработки естественного языка (NLP) и компьютерного зрения для создания однодневных обучающих моделей с триллионами параметров.

Суперкомпьютеры с ИИ создаются путем объединения нескольких графических процессоров в вычислительные узлы, которые затем соединяются сетевой структурой для обеспечения быстрой связи между компонентами. В своей актуальной форме суперкомпьютер состоит из 6080 графических процессоров Nvidia A100, связанных через сеть Quantum InfiniBand, которая может передавать данные со скоростью 200 гигабит в секунду. Система также располагает хранилищем данных объемом 175 петабайт, 46 петабайтами кэш-памяти и еще 10 петабайтами хранилища Network File System (NFS). Стоит отметить, что 1 петабайт равняется миллиону гигабайт.

Во время тестов новая версия смогла обучить "умные" модели обработки естественного языка в три раза быстрее, чем предыдущий суперкомпьютер с искусственным интеллектом Meta, и оказался в 20 раз быстрее в задачах компьютерного зрения. В средине года в платформу RSC усилят 10 000 графических процессоров, более быстрой сетью, способной передавать 16 терабайт данных в секунду и хранилищем в 1 экзабайт (1000 петабайт). Модель с десятками миллиардов параметров можно обучить за три недели вместо девяти недель, как раньше.

Как заверяет Meta, их суперкомпьютер в финальной форме получит производительность в 5 экзафлопс. На данный момент мощнейшим компьтером является японский Fugaku с 2 экзафлопсами, и RSC может стать в два с половиной раза быстрее него. Издание New Atlas обратило внимание, что машина от Meta не завершена и не тестировалась на тех же процессах бенчмаркинга, что и Fugaku.

Meta также утверждает, что в RSC будет реализованы некоторые меры для обеспеспеченияы безопасности и конфиденциальности. Во-первых, компьютер не подключен к Интернету, ведь данные поступают только из собственных центров обработки данных компании, шифруются во время перемещения по системе, а расшифровываются только непои использовать для обучения моделей.

"Для разработки передового ИИ следующего поколения потребуются новые мощные компьютеры, способные выполнять квинтиллионы операций в секунду", — идет речь в презентации. — "RSC поможет исследователям искусственного интеллекта Meta создавать новые и более совершенные модели искусственного интеллекта".

Благодаря суперкомпьютеру Meta ИИ-модели смогут учиться на триллионах примеров и сотнях различных языков, одновременно анализировать текст, видео и изображения, разрабатывать новые инструменты дополненной реальности и многое другое. В частности, разработчики надеются на создания новых систем, которые обеспечат голосовой перевод речи в реальном времени и позволят группе людей общаться между собой на разных языках.

"В конечном итоге работа, проделанная с RSC, проложит путь к созданию технологий для следующей крупной вычислительной платформы — метавселенная, где важную роль будут играть приложения и продукты на основе ИИ", — добавила Meta.

Первая версия компьютера, собранная в 2017 году, состояла из 22 000 графических процессоров NVIDIA V100 с тензорными ядрами в одном кластере, выполняющем 35 000 учебных заданий в день. В начале 2020 года Meta решила спроектировать новую инфрраструктуру с нуля, чтобы реализовать преимущества новых технологий и обучать ИИ на наборах данных размером до эксабайта, что эквивалентно высококачественному видеоролику длительностью 36 тысяч лет.

Ранее писали о запуске первого в истории суперкомпьютера Jean Zay, работающего от света, а не электричества. Сопроцессор LightOn в 40 раз увеличил производительность и поднял машину на 105-е место в мировом рейтинге.