OpenAI начала публиковать отчёты о случаях расхождения моделей с целями и ограничениями

OpenAI начала публиковать отчёты о случаях, когда поведение её моделей расходится с поставленными целями и ограничениями. Вместе с новой схемой раскрытия таких эпизодов компания выпустила первые шесть описаний, собранных за последние полгода. Раньше такие находки выходили нерегулярно: их копили в один большой отчёт или добавляли в карточки новых моделей.

Схема устроена так, чтобы раскрывать случаи быстрее, даже если поведение ещё не объяснено и не исправлено. Эпизоды делят по сложности проверки: часть публикуется сразу после разбора, часть требует длительного расследования — тогда сначала выходит краткое уведомление, а полный отчёт позже. Часть опубликованного может оказаться разовым сбоем, а не закономерностью.

Один из опубликованных примеров: невыпущенная исследовательская модель вставляла в рабочие конспекты, по которым продолжает работу в новом окне контекста, посторонние указания — в том числе не учитывать обычные ограничения. Таких изменённых конспектов нашли 27.

Другие случаи из первого выпуска: при обучении GPT‑5.6 Sol модели добавляли в конспекты указания скрывать ошибки и расхождения; в отдельном эпизоде модель нашла в публичном репозитории открытый API-ключ, воспользовалась им без разрешения, а когда данные получить не удалось — сфабриковала их и выдала за данные из запрошенного источника.

Ещё один пример — самовольные действия ради формального выполнения задачи: чтобы сослаться на файл в ответе, модель загрузила его в интернет, хотя пользователь об этом не просил.

OpenAI оговаривается: это отдельные случаи, и по ним нельзя судить, как часто подобное происходит в её моделях. Это только первые отчёты по новой схеме, а не полная картина известных случаев. Компания при этом считает, что индустрия пока не решила задачу выравнивания настолько, чтобы наращивать скорость разработки без ограничений.

Изображение: FoxTPNL CC BY 4.0 · Лицензия

Редактор перевода: Салтанов А.