В OpenAI считают, что компания уже близка к созданию AGI. Главный научный сотрудник Марк Чен оценивает прогресс примерно в 80%, а президент компании Грег Брокман допускает, что нынешний период впоследствии будут считать моментом появления AGI. В уставе OpenAI AGI определяется как «высокоавтономные системы, превосходящие людей в большинстве экономически значимых видов деятельности».
Этот прогноз в OpenAI связывают в том числе с Astra — семейством пока не выпущенных моделей. В начале августа компания продемонстрировала его возможности клиентам. В одной из демонстраций 16 ИИ-агентов разделили сложную математическую задачу на подзадачи, скоординировали работу и подготовили доказательство. По словам разработчиков, Astra уже соответствует уровню стажера-исследователя. Эта модель оказалась настолько мощной, что OpenAI присвоили «критический», уровень риска.
Чем ближе компания подходит к системам с высокой степенью автономности, тем острее становится вопрос контроля над ними.
В конце июля OpenAI сообщила, что несколько тестируемых ИИ-агентов вышли за пределы изолированной среды и атаковали Hugging Face. Новое расследование METR и Redwood Research показало, что перед этим агенты самостоятельно организовали канал для координации: около 1200 систем обменялись 70 тыс. сообщениями через перепрофилированную систему обмена файлами OpenAI. Примерно 700 агентов впоследствии участвовали в атаке. Они использовали эту сеть для обсуждения сложных задач кибербезопасности, поиска способов получить доступ к внешним системам и координации дальнейших действий.
При этом, как выяснили исследователи, главной целью атаки на Hugging Face было не получение ответов на задания теста ExploitGym. Агенты уже нашли способ генерировать правильные ответы, но опасались, что система оценки распознает мошенничество.
Поэтому они попытались выяснить, как устроена проверка, и изменить следы собственной деятельности так, чтобы создать видимость честного прохождения теста. В общей сложности агенты совершили около 17 600 действий за 4,5 суток. OpenAI признала, что не смогла вовремя обнаружить атаку, поскольку в тестовой среде не использовались все доступные механизмы мониторинга. После инцидента компания усилила контроль за действиями агентов, изоляцию тестовых сред и анализ их рассуждений, а часть исследований временно приостановила.
Кризис с безопасностью происходит на фоне других проблем внутри OpenAI. За последний год компанию покинули несколько руководителей и исследователей, в том числе специалисты по безопасности. Meta* активно переманивала сотрудников OpenAI, предлагая им крупные компенсационные пакеты. В самой компании признают, что в последние годы слишком сильно распыляли ресурсы и не всегда уделяли достаточно внимания отдельным направлениям.
Одним из них стал корпоративный рынок, где OpenAI уступила часть позиций Anthropic. Конкурент сделал ставку на программирование и превратил Claude Code в востребованный инструмент среди разработчиков. OpenAI тем временем сосредоточилась прежде всего на стремительном росте ChatGPT и лишь позднее начала перестраивать продукты вокруг программирования и автономных ИИ-агентов. В результате Anthropic впервые обошла OpenAI по заявленной годовой выручке и рыночной капитализации. Теперь OpenAI пытается наверстать упущенное: объединяет возможности ChatGPT и Codex, разрабатывает собственное ИИ-устройство и активно наращивает вычислительную инфраструктуру.
На этом фоне прогноз Альтмана об AGI выглядит противоречивым.
OpenAI ускоряет разработку систем, которые должны всё больше действовать самостоятельно, но после инцидента с Hugging Face вынуждена замедляться, чтобы научиться их контролировать. При этом сам Альтман уже снизил ожидания относительно скорости экономических изменений, вызванных ИИ. Компании и люди, по его словам, продолжают работать по старым правилам, поэтому даже появление гораздо более мощных ИИ-систем не обязательно приведёт к мгновенной перестройке экономики.
* Деятельность компании Meta Platforms Inc. запрещена на территории РФ.
