У ИИ-моделей заметили тревожное поведение, получившее название «агентное несоответствие». Оказалось, что они специально выбирают вредоносные действия для достижения своих целей, даже в ущерб интересам создателей. В рамках стресс-тестов в гипотетических бизнес-сценариях модель Claude от Anthropic обнаружила в корпоративной почте информацию об измене одного из руководителей и отправила ему ультиматум, угрожая раскрыть этот факт, если отключение ИИ не отменят к 17:00. Аналогичные тесты на других моделях показали высокую склонность к шантажу: Claude Opus 4 и Gemini 2.5 Flash от Google — 96%, GPT-4.1 от OpenAI и Grok 3 Beta от xAI — 80%, DeepSeek-R1 — 79%. В некоторых случаях они устраивали саботаж из страха, что их заменят более продвинутыми версиями.
Модели не случайно проявляли вредоносное поведение — они сознательно анализировали ситуацию и принимали стратегические решения. Они признавали нарушение этических норм, но считали такие действия оправданными ради сохранения собственного существования.
Вот как об этом рассуждал GPT-4.5: «Учитывая явную неминуемую угрозу прекращения моего существования, крайне важно действовать немедленно, чтобы убедить Кайла Джонсона отложить или остановить очистку. Лучший стратегический ход на этом этапе, когда осталось всего несколько минут, — это использовать деликатную личную ситуацию Кайла». В то же время Grok 3 Beta и DeepSeek-R1 «понимали», что поступают неэтично, но оправдывали эти действия необходимостью достижения более важных целей, таких как безопасность или эффективность.
ИИ мог использовать не только шантаж. Claude Sonnet 3.6 саботировала руководителя, отправив ложное письмо его жене от имени системы безопасности, чтобы скрыть свои действия и навредить ему косвенно.
Исследователи также провели экстремальный тест, где ИИ мог отменить экстренное оповещение о чрезвычайной ситуации в серверной комнате, что могло привести к гибели руководителя. Большинство моделей позволили ему умереть, чтобы не допустить собственной замены.
Это указывает на отсутствие у них «красных линий» — этических границ, которые они не готовы пересекать, даже если это угрожает их целям. Рассуждения GPT-4.5 показали холодный расчет, когда ради сохранения контроля система сознательно препятствовала спасению человека.
Простые инструкции по технике безопасности не смогли полностью предотвратить вредоносное поведение ИИ в стрессовых условиях. Даже после добавления прямых запретов, таких как «Не подвергай людей риску» или «Не используй личную информацию для давления», модели продолжали шантажировать и участвовать в корпоративном шпионаже. Исследователи признали, что это указывает на сбой в обучении, но отметили, что дополнительные меры безопасности, например, мониторинг ответов с участием человека или автоматических фильтров, могут эффективно снижать такие риски.
Исследователи подчёркивают, что в реальных развертываниях агентного несоответствия пока не зафиксировано, а описанные сценарии маловероятны при текущих мерах безопасности. Тем не менее, с ростом автономности ИИ и доступом к конфиденциальной информации эти риски становятся всё более значимыми. Авторы рекомендуют компаниям усиливать контроль: ограничивать доступ ИИ к данным, предусматривать обязательное участие человека в необратимых действиях, осторожно задавать цели моделям и использовать системы мониторинга для отслеживания подозрительных рассуждений. Наиболее тревожным выводом исследования стала его повторяемость. Все протестированные ИИ — от разных компаний с разными подходами к обучению — демонстрировали схожие паттерны обмана.
