Модеры использовали PS5 для запуска ИИ-модели с 27 млрд параметров

Несколько пользователей Reddit смогли создать неофициальный порт для запуска моделей ИИ на PS5. 

16 ГБ оперативной памяти GDDR6 и пропускная способность 448 ГБ/с в PS5 позволяет локально запускать квантованные или небольшие ИИ-модели на игровой консоли Sony. Сначала metover представил порт llama.cpp, используя ЦП в качестве рабочей нагрузки. Однако другой пользователь с ником AdIllustrious7246 обнаружил, что при таком подходе, когда основная нагрузка переносится с центрального процессора на графический, доступный объем памяти ограничивается 6 ГБ.

Он интегрировал порт llama.cpp в PS5 в качестве нативного приложения с использованием Vulkan и порта RADV — драйвера AMD с открытым исходным кодом из Mesa. Это позволило увеличить объём доступной памяти до 11,4 ГБ, чего оказалось достаточно для запуска квантованной версии Qwen3.8-27B.

AdIllustrious7246 запустил на консоли Qwen3.8-27B-UD-IQ2_XXS с весами примерно по 2 бита каждый. Это уменьшило размер до 6,8 ГБ. Однако сильно сжатые модели выдают больше ошибок и демонстрируют значительно меньшую эффективность. При размере контекстного окна 64 КБ общее использование памяти составляло 91%.

Благодаря высокой пропускной способности памяти PS5, Qwen3.8-27B достигла скорости 20,9 токенов в секунду при 100% загрузке графического процессора и 2% загрузке центрального процессора.

Более компактные модели продемонстрировали более высокие показатели генерации токенов. Gemma 4 E4B достигла скорости 61 токен/с, а Llama 3.2 3B — 124 токена/с. Общее энергопотребление составило 86 Вт, благодаря чему PS5 оставалась прохладной (температура достигала 54 °C). Хотя это удивительный результат для консоли, предназначенной в первую очередь для игр, существуют определенные компромиссы.

Объем оперативной памяти в 16 ГБ ограничивает PS5 запуском только сильно квантованных моделей ИИ или моделей значительно меньшего размера. Кроме того, для запуска нативной версии llama.cpp на PS5 требуется джейлбрейк, что приведёт к потере гарантии и может вызвать блокировку в онлайн-играх.

Источник:  Reddit; Wccftech