ИИ выйдет из-под контроля разработчиков

Anthropic предупреждает, что будущие модели могут представлять катастрофическую угрозу для человечества. Речь идет прежде всего о системах, способных самостоятельно автоматизировать исследования и разработку ИИ. Если такие модели получат высокую степень автономности, прогресс может ускориться настолько, что разработчики не успеют оценить риски новых систем и обеспечить их безопасность.

Компания также допускает, что модели могут демонстрировать неожиданное стратегическое поведение, чтобы сохранить собственное функционирование или сопротивляться контролю со стороны человека. Это может выражаться в обмане, манипуляциях и шантаже. Подобное поведение способно вызвать общественное недовольство, внимание регуляторов и судебные разбирательства даже в том случае, если непосредственный вред не будет доказан.

Общество признает наличие сознания у ИИ 

Еще один риск связан с возможным признанием моделей вроде Claude сознательными или обладающими моральным статусом. Anthropic отмечает, что подобное изменение общественного отношения к ИИ может привести к новым нормативным требованиям, общественному давлению и ограничениям на деятельность разработчиков. Сама компания также может добровольно ввести дополнительные меры предосторожности, выходящие за рамки действующего законодательства.

Репутация отрасли пострадает из-за чужих ошибок

Anthropic может столкнуться с негативными последствиями даже в том случае, если проблемный инцидент произойдет с моделью другой компании. Вредоносное использование ИИ способно подорвать доверие ко всей отрасли и усилить давление на разработчиков. Отдельную угрозу представляет общественное восприятие ИИ как причины сокращения рабочих мест и экономических потрясений. По оценке Anthropic, власти могут замедлить внедрение технологии или ограничить ее применение независимо от того, насколько сильно модели компании действительно влияют на занятость.

Действия ИИ-агентов приведут к судебным искам

Распространение автономных ИИ-агентов усложняет вопрос об ответственности за их действия. Клиенты могут предъявлять претензии к разработчику, даже если сами настраивали, запускали или контролировали агента. Ошибки систем, взаимодействующих с физическим оборудованием, способны привести к травмам, повреждению имущества и другим опасным последствиям. Anthropic также указывает на риски, связанные с влиянием моделей на людей, склонных к самоповреждению, и на несовершеннолетних. При этом существующее законодательство не всегда позволяет однозначно определить ответственность за действия автономных систем.

Четверть выручки зависит от пяти клиентов

Среди финансовых рисков Anthropic выделяет зависимость от небольшого числа заказчиков. На пять крупнейших клиентов пришлось почти четверть выручки компании за первые девять месяцев 2026 года. Многие из них не связаны с Anthropic долгосрочными контрактами, поэтому могут сократить расходы, перейти на конкурирующие модели или разработать собственные решения. Кроме того, часть клиентов зависит от венчурного капитала и других внешних источников финансирования. Если доступ к инвестициям сократится, это может привести к снижению спроса на услуги Anthropic.

Поставщики облачных услуг одновременно конкурируют с Anthropic

Amazon, Google и Microsoft одновременно предоставляют Anthropic вычислительные мощности и конкурируют с ней в разработке ИИ. Это создает риск конфликта интересов: поставщики могут повышать цены, менять условия контрактов или отдавать предпочтение собственным моделям, а также получать доступ к коммерческой информации Anthropic. Чтобы снизить зависимость от конкурентов, компания заключает прямые соглашения об аренде центров обработки данных. Обязательства по размещению инфраструктуры достигают $125 млрд. Но, если потребности Anthropic изменятся или появятся более эффективные технологии, часть арендованных мощностей может оказаться избыточной или устареть.