В Nature описали байтфикацию, переводящую языковые модели на байты

7 октября 2026 года в журнале Nature вышла работа о байтфикации. Это метод, который переводит готовую языковую модель на работу с байтами UTF-8 вместо привычных токенов из слов и их фрагментов.

Большинство современных больших языковых моделей перед обучением разбивают текст на токены, обычно это слова или их части. Такая разбивка скрывает информацию об отдельных символах, а это мешает там, где смысл зависит от конкретного символа: в компьютерном коде и биологических последовательностях. Модели, работающие с байтами, этих ограничений не имеют, но раньше уступали обычным по качеству.

Как устроена байтфикация

Авторы предложили двухэтапную процедуру дообучения уже готовых открытых моделей. На неё ушло меньше 1% типичного бюджета предобучения, в сумме 49,1 млрд токенов.

Какие модели получились

Так из Olmo 3 7B и OLMo 2 1B получились Bolmo 7B и Bolmo 1B, из Qwen3 8B Base модель Bwen 8B, из Llama 3 8B модель Blama 8B. Байтовые версии обошли более ранние байтовые модели сопоставимого размера: Bolmo 7B прибавил 16,5 процентного пункта в STEM-задачах против BLT 7B, обученного с нуля. Bwen 8B статистически значимо превзошёл все прежние байтовые модели и по качеству приблизился к исходному Qwen.

Байтовые модели заметно лучше исходных разбираются в символах. Их можно ускорять, увеличивая среднее число байтов на фрагмент, а готовые дообученные версии исходной модели переносятся в байтовую через арифметику задач без дополнительного обучения. По качеству байтовые версии близки к исходным моделям, но не всегда их превосходят.

Изображение: Large Language Models, Knowledge Graphs and Search Engines: A Crossroads for Answering Users' Questions, by Aidan Hogan, Xin Luna Dong, Denny Vrandečić, Gerhard Weikum, https://arxiv.org/abs/2501.06699v1 CC BY 4.0 · Лицензия

Редактор перевода: Салтанов А.