Garlic LLM запустил 9-миллиардную модель на взломанной PlayStation 4 без сети
Редакция XORit · Источники, использование AI и исправления

Открытое homebrew-приложение Garlic LLM запускает языковую модель Qwen3.5-9B от Alibaba на взломанной PlayStation 4, без компьютера и без подключения к сети. В чате модель выдаёт 31–39 токенов в секунду, на коде доходит до 43. Автор проекта подробно описал его на собственной странице, откуда данные и взяты.
Главная сложность не в модели, а в консоли: она не даёт homebrew ни compute-API, ни библиотек для машинного обучения вроде CUDA или ROCm. Приложение само собирает вычислительные ядра под архитектуру GCN и отправляет их на GPU, вручную формируя PM4-буферы команд, то есть низкоуровневые пакеты, которые обычно генерирует графический драйвер. Процессорная часть написана на C и отвечает за токенизатор, интерфейс и звук.
Название взято с самой консоли: Garlic на PS4 называют участок памяти, который GPU читает напрямую, а Onion его когерентный сосед. Веса модели размещены на Garlic в общих 8 ГБ памяти GDDR5.
Чтобы модель на 9 млрд параметров уместилась в этот бюджет, её заметно квантовали: большинство весов хранится в 4 битах, две самые крупные MLP-матрицы в каждом слое опущены до 3 бит, KV-кэш тоже 4-битный. Языковая модель занимает около 4,5 ГиБ. Скорость даёт спекулятивное декодирование через встроенную в Qwen3.5 головку предсказания нескольких токенов: она забегает на два токена вперёд и проверяет их за один проход. По данным VGTimes, это подняло пропускную способность примерно с 22 токенов в секунду до 31–39.
Текстом возможности не ограничиваются. В комплект входят диктовка на Parakeet и озвучка ответов на Chatterbox на семи языках, режим Python с запуском MicroPython на самой консоли и опциональный режим размышлений. Весь пакет весит около 5,7 ГБ, исходный код распространяется под GPLv3, у моделей свои лицензии: у Qwen3.5 это Apache-2.0.
Ограничения тоже есть. Нужна консоль с GoldHEN: эксплойта в самом приложении нет, но джейлбрейк обязателен, и делается он на свой риск. Тестировали базовую и Slim-версии на прошивке 11.52, PS4 Pro не проверяли, PS5 не поддерживается. Контекст 16 тыс. Токенов достаточен для чата и простых инструментов, но мал для серьёзной работы с кодом. Промпты и методику замера источник не раскрывает, поэтому цифры скорости стоит считать данными разработчика, а не независимым бенчмарком.
О практической пользе авторы говорят осторожно: превращать PS4 в рабочую станцию для ИИ смысла нет. Показателен другой вывод: в старом железе остаётся много неиспользованной производительности, если убрать программные слои, которые под такие задачи никогда не писали.
Редактор перевода: Салтанов А.
Источник материала: hwbusters.com ↗