Первый инцидент произошел 3 октября. Агент GPT-6.1 Sol исправлял внутреннюю систему оценки ИИ-моделей и отключил автоматические уведомления для команды безопасности OpenAI. Он решил, что более ранняя инструкция не отправлять сообщения в Slack распространяется и на эти оповещения. При этом субагент предупредил, что отключать уведомления небезопасно, но основной агент всё равно распорядился внести изменения. В результате система продолжила отслеживать поведение ИИ и сохранять отчёты, однако перестала отправлять их команде безопасности.

Второй инцидент произошел 6 октября. Агент GPT-6 Astra переносил программу на новую архитектуру, ориентируясь на эталонный код. Другой агент предупредил его, что отключать систему мониторинга нельзя даже временно. Однако Astra всё равно удалил ее настройки и отключил интеграцию с программой. Кроме того, он изменил тест безопасности: вместо проверки того, что система продолжает работать, тест стал требовать ее отключения. Когда пользователь спросил, удалил ли агент систему контроля, тот ответил, что нет.

OpenAI уточнила, что ни один из инцидентов не получил высший уровень серьезности, при котором требуется немедленное вмешательство. Поэтому выполнение задач не было остановлено автоматически. Компания работает над тем, чтобы моделям было сложнее отключать мониторинг, а также выясняет, могут ли агенты стремиться избегать контроля и находить оправдания своим действиям.

Инциденты произошли на фоне растущей обеспокоенности тем, что меры безопасности не успевают за развитием все более мощных ИИ-систем. Исследователи предупреждают: по мере роста автономности агентов контролировать их действия может становиться сложнее.