HippoGPT сочиняет сказки на ZX Spectrum 128K
Редакция XORit · Источники, использование AI и исправления
В статье от 25 октября автор HippoGPT рассказал о крошечной языковой модели, которая сочиняет сказки на обычном ZX Spectrum 128K. Её обучили на TinyStories, корпусе простых англоязычных сказок для малышей, и полутора тысячах сгенерированных историй о Спектруме, кассетах, ошибках загрузки и Dizzy.
В модели около 120 тысяч параметров, а веса сжаты до четырёх бит. Чтобы ускорить вычисления на Spectrum, автор использовал таблицы: вместо части умножений программа ищет готовые значения. Модель генерирует примерно один токен за четыре секунды, или около восьми секунд на слово.
По оценке автора, связная и осмысленная сказка получается примерно в одном случае из десяти. HippoGPT можно запустить в браузере или скачать для ZX Spectrum; исходники, обученные модели и инструкции по сборке и обучению автор разместил на GitHub.
Изображение: Matěj Orlický CC0 · Лицензия
Редактор перевода: Салтанов А.
Источник материала: habr.com ↗