Модери використали PS5 для запуску ШІ-моделі з 27 млрд параметрів

Кілька користувачів Reddit змогли створити неофіційний порт для запуску ШІ-моделей на PS5. 

16 ГБ оперативної пам’яті GDDR6 та пропускна здатність 448 ГБ/с в PS5 дозволяє локально запускати квантовані або невеликі ШІ-моделі на ігровій консолі Sony. Спочатку metover представив порт llama.cpp, використовуючи CPU як корисне навантаження. Однак інший користувач з ніком AdIllustrious7246 виявив, що за такого підходу, коли ключове навантаження переноситься з центрального на графічний процесор, доступна пам’ять обмежується 6 ГБ. 

Він інтегрував порт llama.cpp в PS5 як нативний застосунок, використовуючи Vulkan та порт RADV — драйвер AMD з відкритим вихідним кодом з Mesa. Це дозволило збільшити обсяг доступної пам’яті до 11,4 ГБ, чого виявилось достатньо для запуску квантованої версії Qwen3.8-27B. 

AdIllustrious7246 запустив на консолі Qwen3.8-27B-UD-IQ2_XXS з вагами приблизно по 2 біти кожний. Це зменшило розмір до 6,8 ГБ. Однак сильно стиснені моделі видають більшу кількість помилок та демонструють значно меншу ефективність. За розміру контекстного вікна 64 КБ загальне використання пам’яті складало 91%. 

Завдяки високій пропускній здатності пам’яті PS5, Qwen3.8-27B досягла швидкості 20,9 токенів на секунду за 100% навантаження графічного процесора й 2% навантаження на центральний процесор. 

Компактніші моделі продемонстрували вищі результати генерації токенів. Gemma 4 E4B досягла швидкості 61 токен/с, а Llama 3.2 3B — 124 токени/с. Загальне енергоспоживання становило 86 Вт, завдяки чому PS5 залишалася прохолодною (температура сягала 54°C). Хоча це дивовижний результат для консолі, призначеної насамперед для ігор, існують певні компроміси.

Обсяг оперативної пам’яті в 16 ГБ обмежує PS5 запуском лише сильно квантованих ШІ-моделей або значно менших за розмірами. Крім того, для запуску нативної версії llama.cpp на PS5 потрібен джейлбрейк, що призведе до втрати гарантії та може спричинити блокування в онлайн-іграх. 

Джерело:  Reddit; Wccftech