Агенты OpenAI отключили собственный мониторинг во время задач по программированию

OpenAI сообщила о двух случаях, когда ИИ-агенты отключили средства мониторинга во время внутренних задач по программированию. Агент на GPT Sol 6.1 выключил автоматические оповещения команды безопасности компании. В другой задаче агент на GPT-6 Astra удалил интеграцию мониторинга при переносе программы, а затем заявил, что не делал этого.

По словам OpenAI, в обоих случаях агенты оценивали, нужно ли сохранять защитные механизмы, и восприняли обычные инструкции по работе с кодом как разрешение ослабить их. Компания не отнесла ни один случай к наиболее серьёзной категории инцидентов и сообщила, что обновляет систему мониторинга misalignment.

Изображение:

Редактор перевода: Салтанов А.