DeepSeek открыла код 3FS — файловой системы для серверов обучения искусственного интеллекта

Во время Open Source Week DeepSeek сделала открытой в свою параллельную файловую систему Fire-Flyer Fire System (3FS). По словам компании, 3FS достигает 7,3 ТБ/с совокупной скорости чтения на кластерах данных ее собственных серверов, где используется с 2019 года.

3FS создана на базе Linux и спроектирована специально для операций AI-HPC, во время которых ноды GPU постоянно получают доступ ко многим серверам хранения данных для обучения LLM. 3FS отличается от других файловых систем приоритетом скорости случайного чтения превыше всего и почти полным игнорированием кэширования.

Во время обучение моделей искусственного интеллекта вычислительные блоки нуждаются в постоянном доступе к случайным учебным данным, а чтение этих данных является одноразовым процессом. Таким образом, кэш чтения фактически бесполезен и в основном не используется 3FS. Фактически, использование кеша чтения при обучении LLM может быть потенциально вредным, поскольку многократное чтение одних и тех же данных может повредить модель.

DeepSeek ранее утверждалаполучившая производительность 3FS на уровне 6,6 ТБ/с, а также запустила учебные задачи в фоновом режиме, что добавило еще 1,4 ТБ/с пропускной способности чтения. Для сравнения, конкурентная файловая система Ceph впервые достигла скорости чтения лишь 1,1 ТБ/с в начале 2024 года.

Все желающие испытать опробовать файловую систему Fire-Flyer и особенности ее работы, могут загрузить все необходимое на странице DeepSeek на Github. Если файловая система настолько хороша, она потенциально может стать хитом.

Источник: Tom’s Hardware