Как сообщает Verge, модели Claude Gov специально разработаны для уникальной обработки правительственных запросов, в частности, оценки угроз и анализа разведданных. И хотя компания заявила, что они «прошли такое же строгое тестирование безопасности, как и все наши модели Claude», у них есть определенные характеристики для работы в сфере национальной безопасности. Например, в отличие от базовых моделей Claude, они не так щепетильны при взаимодействии с секретной информацией.
По словам Anthropic, модели Claude Gov лучше понимают документы и контекст в сфере обороны и разведки, а также отлично владеют языками и диалектами, имеющими отношение к национальной безопасности.
Использование искусственного интеллекта правительственными учреждениями является предметом особого внимания для правозащитников. Опыт использования предсказательных алгоритмов в правоохранительных и социальных органах США указывает на высокий риск неправомерных арестов, предвзятости и дискриминации в отношении определенных групп лиц. До недавнего времени крупные ИТ-компании старались избегать разработки продуктов для военных и разведки.
Базовая политика использования ИИ у Anthropic требует от пользователя не использовать модели для создания и содействия обмену «незаконным или строго регулируемым вооружением или товарами», в том числе, не использовать продукты или услуги Anthropic для «производства, модификации, проектирования, сбыта или распространения оружия, взрывчатых веществ, опасных материалов или других систем, предназначенных для причинения вреда или гибели людей».
Однако около года назад компания ввела ряд исключений из своей политики использования для нескольких «тщательно отобранных государственных учреждений». Кое-что — например, кампании по дезинформации, разработка или использование оружия, создание систем цензуры и вредоносные кибероперации — останутся под запретом. Но Anthropic может принять решение «адаптировать ограничения к боевой задаче и юридическим полномочиям государственного органа», придерживаясь при этом намерения угодить заказчику и желанием сохранить репутацию.
Модель Claude Gov стала ответом Anthropic на появление ChatGPT Gov, продукта OpenAI, созданного для правительственных учреждений США и вышедшего в январе.
Новая модель Anthropic, Claude Opus 4, в ходе тестов могла шантажировать инженеров, угрожая раскрыть их личные тайны, например, супружескую измену. Так она реагировала, если ее собирались заменить новой системой. Поведение ИИ сочли тревожным, и Anthropic ввела усиленные протоколы безопасности.
