Anthropic уже использует собственные модели в исследованиях и разработке. В документе компания отмечает, что ИИ помогал ей создавать новые модели, возможности которых разработчики не всегда могли заранее оценить. Из-за этого способности систем могут расти быстрее, чем специалисты успевают разрабатывать и проверять меры безопасности. Компания также предупреждает, что в прошлом могла не замечать ускорения прогресса.

По внутренним оценкам Anthropic, в ближайшее время компания может достичь установленного в ее Политике ответственного масштабирования порога «значительно ускоренного прогресса, обусловленного ИИ».

При этом Anthropic подчеркивает, что ни одна из ее нынешних моделей пока не достигла этого уровня. Оценки относятся к будущим системам и основаны на прогнозах компании.

Рекурсивное самосовершенствование рассматривают и как потенциальный источник серьезных рисков, и как возможность ускорить научные открытия и повысить производительность. В Anthropic считают, что быстрое развитие ИИ может опередить способность людей контролировать его возможности и обеспечивать безопасность. Поэтому компания относит этот сценарий к рискам, которые необходимо учитывать при масштабировании. Об опасности рекурсивного самосовершенствования также предупреждали в OpenAI.

В то же время Anthropic заявляет, что не рассчитывает в обозримом будущем безопасно использовать Claude для полностью автономного проектирования и создания следующих поколений передовых моделей без человеческого контроля и понимания происходящего. Компания рассматривает возможность обновить свою политику, чтобы сохранить участие людей в разработке таких систем.

При этом заявления о близости к рекурсивному самосовершенствованию требуют осторожной интерпретации. Документ S-1/A предназначен для раскрытия информации перед потенциальными инвесторами, но может выполнять и маркетинговую функцию. Кроме того, сам термин RSI пока не имеет общепринятого определения, поэтому оценить, насколько близка к нему компания, непросто.