DeepSeek відкрила код 3FS — файлової системи для серверів навчання штучного інтелекту

Під час Open Source Week DeepSeek зробила відкритою у свою паралельну файлову систему Fire-Flyer Fire System (3FS). За словами компанії, 3FS досягає 7,3 ТБ/с сукупної швидкості читання на кластерах даних її власних серверів, де використовується з 2019 року.

3FS створена на базі Linux та спроєктована спеціально для операцій AI-HPC, під час яких ноди GPU постійно отримують доступ до багатьох серверів зберігання даних для навчання LLM. 3FS відрізняється від інших файлових систем пріоритетом швидкості випадкового читання понад усе та майже повному ігноруванню кешування.

Під час навчання моделей штучного інтелекту обчислювальним блокам потрібен постійний доступ до випадкових навчальних даних, а зчитування цих даних є одноразовим процесом. Таким чином, кеш читання фактично марний і здебільшого не використовується 3FS. Насправді використання кешу читання під час навчання LLM може бути потенційно шкідливим, оскільки багаторазове читання одних і тих самих даних може зашкодити моделі.

DeepSeek раніше стверджувала, що отримала продуктивність 3FS на рівні 6,6 ТБ/с, а також запустила навчальні завдання у фоновому режимі, що додало ще 1,4 ТБ/с пропускної здатності читання. Для порівняння, конкурентна файлова система Ceph вперше досягла швидкості читання лише 1,1 ТБ/с на початку 2024 року.

Усі охочі випробувати випробувати файлову систему Fire-Flyer та особливості її роботи, можуть завантажити усе необхідне на сторінці DeepSeek на Github. Якщо файлова система настільки добра, вона потенціально може стати хітом.

Джерело: Tom’s Hardware