Ютубер створив кластер з п’яти Apple Mac mini M4 — наскільки він ефективний?

Відеоблогер продемонстрував обчислювальний кластер з нових Apple Mac mini на процесорі M4. Іноді це краще, ніж потужна відеокарта.

Багато хто вважає, що отримати потужніший комп’ютер означає придбати один дорогий пристрій. Але існують інші способи виконати велику кількість обчислень. Концепція кластерів дозволяє використовувати багато комп’ютерів або принаймні обчислювальних блоків. Спільна робота для паралельного виконання завдань призводить до значного скорочення часу обробки.

На відео в YouTube ентузіаст Алекс Зіскінд (Alex Ziskind) демонструє налаштування кластерних обчислень за допомогою п’яти M4 Mac mini. Кластер отримує завдання, які розподіляються між всіма машинами. Типові невеликі кластерні покладаються на мережу Ethernet для зв’язку між вузлами, але ютубер використав потенціал з’єднання Thunderbolt за допомогою Thunderbolt Bridge. Це значно прискорює зв’язок між вузлами, а також дозволяє надсилати більші пакети даних.

Ethernet може працювати зі швидкістю 1 Гбіт/с у звичайних умовах або до 10 Гбіт/с, за наявності відповідних комп’ютерів з підтримкою цієї швидкості. Натомість Thunderbolt Bridge сягає швидкості до 40 Гбіт/с для портів Thunderbolt 4 або 80 Гбіт/с для Thunderbolt 5 в двосторонньому режимі у моделях з чипами M4 Pro та M4 Max.

Зіскінд зазначає, що використання Apple Silicon для кластерних обчислень може бути вигіднішим, ніж ПК з потужною відеокартою. Обробка даних за допомогою GPU залежить від наявності значного обсягу доступної відеопам’яті. На графічній карті це може бути, наприклад, 8 ГБ, що не так вже й багато навіть для ігор. Використання уніфікованої пам’яті на Apple Silicon менше обмежує конфігурацію та дозволяє користуватися більшими обсягами — фактично графічний процесор Apple Silicon має доступ до набагато більшої кількості пам’яті, особливо у випадку Mac із 32 ГБ ОЗП.

Крім того, відеокарти споживають багато енергії. Значне споживання означає більші поточні витрати на експлуатацію. Виявилося, що комп’ютери Mac mini споживають дуже мало — кластер з п’яти комп’ютерів Mac min споживає менше, ніж одна високопродуктивна відеокарта.

Щоб запустити кластер, Алекс Зіскінд використовує MLX, проєкт Apple із відкритим вихідним кодом, описаний як «структура масиву, призначена для ефективних та гнучких досліджень машинного навчання на Apple Silicon». MLX використовує для роботи стандартну методологію розподілених обчислень MPI. У рамках проєкту можна запустити кілька комп’ютерів Mac різної продуктивності, без значних витрат на техніку. Поміж іншого MLX оптимізований для невеликих кластерів.

Ефективний, але не завжди

Хоча об’єднання продуктивності кількох Mac mini у кластер здається привабливим, від цього виграє не кожне завдання. Практично немає переваг для типового використання Mac — запуску програми, ігор тощо. технологія призначена для обробки великих масивів даних або для завдань високої інтенсивності, які виграють від паралельної обробки. Це робить кластер ідеальним для роботи зі штучним інтелектом, зокрема мовними моделями (LLM).

Також це не найпростіший спосіб використання комп’ютера для звичайного користувача Mac. Під час тестів Зіскінд виявив, що покупка Mac з M4 Pro забезпечує більшу продуктивність LLM, ніж два комп’ютери M4 у кластері. Такий кластер може стати у пригоді, коли потрібна більша продуктивність, ніж можна отримати від одного потужного Mac. Якщо модель занадто велика для роботи на одному Mac, наприклад через обмеження пам’яті, кластер може запропонувати більше.

Ентузіаст стверджує, що на даному етапі висококласний Mac з M4 Max та великим обсягом пам’яті ефективніший, ніж кластер менш продуктивних машин. Але якщо вимоги завдання якимось чином виходять за межі найвищої конфігурації Mac, кластер може допомогти.

Однак є ще деякі обмеження, які слід врахувати. Експериментатору довелося вдатися до використання концентратора Thunderbolt для підключення вузлів до хосту, що зменшило доступну пропускну здатність. Пряме з’єднання комп’ютерів розв’язало проблему, але цей спосіб обмежує кількість наявних портів та можливість масштабування. Також слід враховувати температуру — головний Mac mini у конфігурації був надзвичайно гарячим. Алекс Зіскінд визнав експеримент Mac mini cluster tower цікавим, але не збирається використовувати його довгостроково.

Джерело: Apple Insider