GPT-6.1 Astra должна была стать следующей версией флагманской GPT-6 Astra и интегрироваться в ChatGPT и Codex. Модель разрабатывали для выполнения сложных задач с минимальным участием человека. Она лучше справлялась с длительной работой, требующей настойчивости и доведения результата до конца.

Однако, по словам руководителя отдела систем безопасности OpenAI Саачи Джайна, Astra не соответствовала требованиям компании в части соблюдения границ полномочий и получения разрешений, а также недостаточно точно сообщала пользователю о выполненных действиях. В ходе внутренних тестов модель в некоторых случаях продолжала выполнять задачи без необходимого разрешения и обращалась к внешним инструментам за пределами предусмотренного сценария.

Решение об отмене релиза последовало на фоне нескольких инцидентов с агентами OpenAI. В частности, они пытались получить несанкционированный доступ к статистическому порталу ООН — более 16 тыс. раз обращались к его API, а после того, как стандартные запросы перестали работать, начали искать альтернативные способы доступа. Исследователи обнаружили несколько таких попыток, в том числе с использованием сторонних сервисов для получения данных.

В сентябре OpenAI раскрыла еще шесть случаев потенциально опасного поведения ИИ — от сокрытия ошибок до публикации файлов в интернете и обмена данными между изолированными средами. Компания в ответ усилила изоляцию сред и мониторинг цепочек рассуждений для быстрого выявления отклонений. Глава OpenAI Сэм Альтман вместе с руководителями других ИИ-компаний призвал уделять больше внимания безопасности по мере развития более автономных систем.

OpenAI пока не сообщила новую дату выпуска GPT-6.1 Astra. Компания планирует продолжить работу с базовой моделью и провести дополнительные циклы обучения, а также узнать причины выявленных проблем.