OpenAI и Anthropic в закрытом режиме готовятся к крупному инциденту с ИИ
Редакция XORit · Источники, использование AI и исправления
По сообщению Axios от 9 октября, руководители крупных ИИ-компаний, включая OpenAI и Anthropic, в закрытом режиме прорабатывают сценарии серьёзного инцидента, связанного с искусственным интеллектом. Обсуждения касаются технических, политических и публичных последствий возможного сбоя.
Что отрабатывают
Участники рассматривают кибератаки, способные нарушить работу банковских систем, интернета и связи, а также энерго- и водоснабжения. В ходе учений проводится проверка возможных отказов методом red teaming, оцениваются угрозы со стороны автономных ИИ-агентов и готовятся ответы на вмешательство государства.
OpenAI подтвердила, что проводит учения по подготовке к разным риск-сценариям. Компания подчеркнула, что это не означает, будто катастрофический инцидент считается неизбежным. Anthropic комментировать сообщения отказалась.
По данным Axios, часть представителей отрасли полагает, что крупный инцидент с ИИ может произойти в течение ближайших шести-двенадцати месяцев. Эти оценки остаются прогнозами, а не установленными расчётами.
Недавний случай
В публикации приводится недавний пример. Кампания была нацелена на финансовые учреждения Южной Кореи, включая сообщения о взломах в двух банках. По данным CrowdStrike, злоумышленник, как утверждается, применял китайские ИИ-модели, в том числе DeepSeek, в операциях с украденными данными клиентов, а также Claude Code для поиска возможных рынков сбыта похищенной информации.
Политические последствия
Руководители готовятся и к политическим последствиям крупного сбоя. Такой инцидент может усилить требования более строгого надзора, обязательных механизмов безопасности или ограничений на разработку передовых систем. Обсуждаются, в частности, аварийное отключение мощных ИИ-систем и временные паузы в отдельных направлениях разработки.
Реализовать такие меры непросто. Модели с открытыми весами могут работать вне централизованной инфраструктуры, из-за чего полное отключение затруднено. Экономика тоже усложняет вмешательство: инвестиции в ИИ поддерживают значительную часть развития технологической инфраструктуры, что создаёт конкурирующие приоритеты между ростом и безопасностью.
Редактор перевода: Салтанов А.
Источник материала: opendatascience.com ↗