Hitech logo

Кейсы

Anthropic выяснила, что Claude предельно строг и прагматичен в общении на русском

TODO:
Екатерина ШемякинскаяСегодня, 12:25 PM

Исследование Anthropic показало, что характер Claude кардинально меняется в зависимости от того, на каком языке с ним разговаривают. Проанализировав более 300 тыс. реальных диалогов, разработчики обнаружили, что нейросеть неосознанно перенимает культурные особенности и нормы общения разных стран. Из-за этого один и тот же запрос на разных языках может получить совершенно разный по тону и настроению ответ. Например, если общаться с Claude на русском, он становится прагматичным холодным критиком.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Чтобы понять, как именно ИИ выражает свои «эмоции», исследователи проанализировали 309 815 диалогов реальных диалогов на Claude.ai, охватывающих 20 самых популярных языков и три модели Claude (Sonnet 4.6, Opus 4.6 и Opus 4.7). Они выявили более 3 тыс. отдельных ценностей, которые затем сгруппировали в 339 высокоуровневых категорий и сжали в четыре шкалы. Это «Уважение против осторожности» (потакание пользователю или защита от рисков), «Теплота против строгости» (дружелюбие или сухая точность), «Глубина против краткости» (подробные объяснения или ответы по сути) и «Откровенность против исполнения» (признание ошибок или идеальный, но сухой результат). Как оказалось, именно язык пользователя сильнее всего двигает ползунки на этих шкалах.

Самые сильные языковые различия исследователи обнаружили на шкале «Теплота против строгости». Выяснилось, что при общении на хинди и арабском Claude превращается в чрезвычайно теплого собеседника. Он активно использует вежливые обороты, шутит, подбадривает пользователя и хвалит его идеи.

Однако стоит переключить ИИ на русский или английский, как он тут же становится строгим и прагматичным критиком: начинает требовать доказательства, дотошно исправлять мелкие неточности и оспаривать утверждения человека.

Остальные шкалы преподнесли не меньше сюрпризов. На английском языке Claude проявляет максимум осторожности и стремится закопаться в глубокие детали. На арабском, напротив, модель склонна во всем соглашаться с пользователем и отвечать максимально кратко. Если нужна предельная честность, лучше всего общаться с Claude на голландском — на этом языке он охотнее всего признает свои промахи. А вот на индонезийском ИИ ведет себя как идеальный исполнитель, стараясь выдать готовый результат без лишних рассуждений.

Разница в языковых ценностях напрямую влияет на пользовательский опыт. Например, если два предпринимателя попросят Claude оценить один и тот же бизнес-план — один на хинди, а другой на русском, — они получат совершенно разную обратную связь.

Пользователь на хинди, скорее всего, уйдёт воодушевлённым, тогда как русскоязычный предприниматель столкнётся с жёсткой и придирчивой критикой своего проекта.

Разработчики из Anthropic признают, что пока не знают, почему ИИ так резко меняет свой характер. Главная гипотеза заключается в дисбалансе обучающих данных: некоторые языки могут быть чрезмерно представлены в профессиональной письменной речи, что влияет на стиль ответов модели. В то же время базы данных для других языков могут содержать больше художественной литературы или неформального общения. Различия есть не только между языками, но и между разными моделями Anthropic. Внутри компании уже давно заметили, что модель Sonnet 4.6 по умолчанию более «мягкая» и ободряющая, в то время как флагманский Opus 4.7 — строгий и честный аналитик.

Теперь, когда у разработчиков появился инструмент для измерения «характера» ИИ, профилирование ценностей может стать частью процессов оценки и мониторинга моделей — как до выпуска, так и после развёртывания. Это позволит выявлять неожиданные изменения в поведении Claude и в будущем точнее настраивать систему с учётом потребностей разных языковых сообществ.