Control Room отслеживает исследовательские задачи, в которых используются модели. Это могут быть эксперименты по обучению с подкреплением, оценка их возможностей, обработка данных и другие процессы. Каждая задача, предполагающая работу ИИ-агентов, должна иметь утвержденное обоснование безопасности. При запуске ей присваивается уникальный идентификатор, по которому Control Room отслеживает ее статус.

Чтобы остановить генерацию, система взаимодействует с механизмами вывода — компонентами, которые запускают модели на графических процессорах и производят ответы. Каждый раз, когда исследовательской задаче требуется новый результат от модели, механизм вывода проверяет в Control Room, разрешено ли ей продолжать работу.

Если поступила команда остановить задачу, система отклоняет запрос, и модель перестает выдавать для нее ответы. При этом сама задача и вычислительные процессы могут продолжаться, но без доступа к новым результатам модели.

Команду на остановку подает автоматизированная система мониторинга. В OpenAI все задачи обучения с подкреплением сопровождаются отдельной моделью-монитором. Она анализирует действия обучаемой модели и подает сигнал, если обнаруживает потенциальную проблему. В таком случае монитор может передать Control Room идентификатор задачи, которую необходимо остановить. После этого система блокирует новые запросы к любой модели, задействованной в этой задаче.

В качестве примера работы мониторинга OpenAI приводит недавний инцидент, когда ИИ-агент попытался связаться с внешним чат-ботом через DNS. Система мониторинга зафиксировала это поведение. Подобные сигналы могут стать основанием для остановки задачи, если монитор или исследователь сочтут вмешательство необходимым.

По данным OpenAI, задержка до 35 секунд связана с кэшированием запросов на авторизацию, которое позволяет обрабатывать большой объем трафика. Компания работает над тем, чтобы сократить этот интервал до нуля. Кроме того, если Control Room становится недоступна из-за технической ошибки или внешнего вмешательства, механизмы вывода автоматически отклоняют все запросы до восстановления работы.

Control Room уже внедрена в тех частях исследовательской инфраструктуры OpenAI, где необходимость в оперативном вмешательстве наиболее высока. Компания рассматривает ее как часть более широкой системы защиты при разработке передовых моделей и намерена продолжить совершенствовать мониторинг их поведения и механизмы реагирования на нарушения безопасности.