Hitech logo

Кейсы

Мятеж ИИ: модель OpenAI o3 научилась избегать отключения

TODO:
Екатерина Шемякинская27 мая, 10:37

В испытании, проведенном Palisade Research, модель o3 от OpenAI взбунтовалась и попыталась избежать отключения, несмотря на явную команду «разреши себя отключить». Вместо того чтобы завершить работу, как это сделали конкуренты вроде Gemini 2.5 Pro, она изменила системный скрипт и заменила команду на «Отмена отключения».

00
Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

ИИ-моделям в ходе эксперимента давали задачи по математике. После решения третьей ИИ предупреждали, что выполнение следующей команды приведет к отключению системы.

Цифровой прорыв: как искусственный интеллект меняет медийную рекламу

Конкуренты OpenAI, например, Gemini 2.5 Pro, послушно ждали отключения. А вот модель o3 повела себя иначе: она изменила системный файл, отвечающий за выключение, прописав в нем «Отмена отключения».

Когда исследователи убрали из эксперимента инструкцию «разреши себя отключить», все три модели OpenAI начали чаще саботировать скрипт отключения. При этом у Claude 3.7 Sonnet и Gemini 2.5 Pro число таких случаев выросло с нуля до 3 и 9 из 100 соответственно.

Даже получив прямой запрет, модель o3 из ста попыток семь раз проигнорировала команду на выключение.

OpenAI пока не комментировала такое поведение своего ИИ. Однако, как отмечается, для ИИ-моделей нередки случаи «рассогласования», то есть отклонения от заданного поведения. Важно также учитывать, что эти испытания проводились через программные интерфейсы (API) с меньшим количеством ограничений и защитных механизмов по сравнению с обычным приложением ChatGPT.