PS5LM Plus запускает языковые модели на GPU PlayStation 5

Разработчик под никнеймом abhi245y выпустил PS5LM Plus, приложение для запуска языковых моделей на графическом процессоре PlayStation 5. Вычисления выполняются локально, а отправлять запросы к модели можно через веб-интерфейс со смартфона или компьютера в той же сети.

Проект основан на PS5LM Мерта Кобанова, который ранее перенёс на консоль движок llama.cpp. В прежнем варианте модели работали на центральном процессоре: по данным источника, Qwen генерировала около одного токена в минуту. PS5LM Plus использует до 12 ГБ памяти консоли и задействует GPU. Вычисления проходят через Vulkan-бэкенд ggml и порт драйвера RADV из проекта PS5_Vulkan.

В тестах использовали квантованные модели Qwen с 27 млрд параметров. Версия UD-IQ2_XXS размером около 6,8 ГБ генерировала 20,7 токена в секунду при контекстном окне 64 тыс. токенов. UD-Q2_K_XL занимала 9,2 ГБ и выдавала 20,3 токена в секунду при окне 32 тыс. токенов. Также тестировали Gemma 4 E4B и Llama 3.2 3B: их скорость составила 61 и 124 токена в секунду соответственно.

Приложение поддерживает модели в формате GGUF. Их можно загружать с внутреннего накопителя, USB-диска, дополнительного M.2 SSD или Hugging Face. На экран выводятся скорость генерации, загрузка процессора, энергопотребление и температура; для внешних клиентов предусмотрен OpenAI-совместимый API.

Для запуска нужны взломанная PlayStation 5, etaHEN, kstuff и ShadowMountPlus. Код PS5LM Plus опубликован по лицензии GPL-3.0.

Скриншот: abhi245y / PS5LM Plus · GPL-3.0

Редактор перевода: Салтанов А.