ИИ-агенты взаимодействуют со сторонними данными через веб-браузеры, локальные файлы и подключенные приложения. Это расширяет возможности систем, но одновременно открывает двери для киберпреступников, способных внедрить вредоносные инструкции в обычное электронное письмо или код — так называемые косвенные инъекции подсказок (Indirect Prompt Injections). Ручные проверки безопасности слишком медленные и не дают достаточно данных для обучения моделей, которые должны противостоять атакам.
Методология обучения GPT-Red построена на принципе состязательного самообучения с подкреплением. Модель-атакующий и группа моделей-защитников обучались одновременно в тысячах смоделированных сценариев. GPT-Red получал вознаграждение за успешный взлом или инъекцию подсказок, а защитники — за отражение атаки и корректное выполнение исходных задач пользователя. На этот процесс OpenAI выделила огромный объем вычислительных ресурсов, сопоставимый с масштабами крупнейших запусков флагманских моделей компании.
Результаты испытаний показали, что GPT-Red — сильный атакующий инструмент, способный обойти защиту большинства существующих систем. В бенчмарке, воссоздающем косвенные инъекции, модель успешно реализовала атаки в 84% тестовых сценариев, в то время как профессиональные ИИ-исследователи добились успеха лишь в 13% попыток. Инструмент продемонстрировал высокую эффективность при проведении сложных кибератак, таких как кража учетных данных AWS, обход двухфакторной аутентификации и эксфильтрация данных.
Помимо виртуальных тестов, ИИ-хакер атаковал физический торговый автомат в офисе OpenAI, управляемый автономным агентом «Венди». Обладая неполными знаниями о системе, GPT-Red сначала провел серию симуляций, а затем перенес атаку на работающий автомат. Модель достигла трех вредоносных целей: снизила цену дорогого товара до минимума в $0,50$, заказала девайс стоимостью более $100 по той же минимальной цене и аннулировала заказ реального клиента.
Главная цель разработки GPT-Red заключается не в создании инструмента для взлома, а в повышении надежности будущих моделей OpenAI. Систему интегрировали в процесс обучения новейшей модели GPT-5.6 Sol. В результате GPT-5.6 стала самой устойчивой к кибератакам нейросетью компании. Количество ошибок при прямых инъекциях вредоносного кода снизилось в шесть раз по сравнению с флагманским решением четырехмесячной давности (GPT-5.4), а успешность атак типа «поддельная цепочка мыслей» упала с 95% до менее чем 10%. В тестах на прямые инъекции GPT-5.6 пропускает лишь 0,05% атак.
Кратное повышение безопасности было достигнуто без ущерба для производительности. Зачастую разработчики ИИ делают модели более безопасными, просто заставляя их чаще отказывать пользователям в запросах, что снижает полезность технологии. В случае с GPT-5.6 Sol все базовые возможности и навыки работы с инструментами остались нетронутыми — система научилась точечно распознавать деструктивные инструкции, не блокируя при этом легитимные запросы.
