Hitech logo

Кейсы

У ИИ-агентов обнаружили «стадный инстинкт»

TODO:
Екатерина ШемякинскаяСегодня, 02:10 PM

Чем умнее ИИ-агенты, тем охотнее они подстраиваются под мнение большинства — и способны сохранять эту согласованность в группах, намного превышающих по численности любые человеческие коллективы. К такому выводу исследователи пришли, изучив, как несколько независимых агентов координируют решения без лидера, вознаграждений или прямых указаний со стороны человека, как договариваться. В этом есть как плюсы, так и риски.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Для эксперимента ученые предложили агентам многократно выбирать один из двух заведомо бессмысленных вариантов. Правильного ответа не существовало, а единственным доступным агенту контекстом был выбор остальных участников группы. Исследователи протестировали модели семейств GPT, Claude и Llama и проверили их поведение в группах численностью до 1 тыс. агентов.

Оказалось, что более совершенные модели, включая GPT-4 Turbo и Claude 3.5 Sonnet, чаще присоединялись к варианту, который уже поддерживало большинство. В некоторых экспериментах агенты сохраняли единое мнение даже в группах из 1 тыс. участников. При этом авторы не проверяли группы большего размера, поэтому нельзя утверждать, что такая координация сохраняется при дальнейшем масштабировании.

Склонность следовать за большинством усиливалась по мере развития моделей, однако с ростом размера группы этот эффект ослабевал. У каждой протестированной модели был свой предел, за которым полное единство мнений становилось маловероятным.

Результаты показывают, что координация между ИИ-агентами может возникать спонтанно, без централизованного управления. Однако переносить эти выводы на человеческое общество нельзя: агенты видели выбор каждого участника, тогда как в реальных социальных группах такой информации, как правило, нет. Кроме того, в эксперименте отсутствовали аргументы в пользу предлагаемых решений, компромиссы, долгосрочная память и последствия выбора. Так что исследование описывает лишь паттерн поведения, а не свидетельство того, что ИИ понимает социальные процессы по-человечески.

Координация может быть полезной для многоагентных систем. Например, тысячи ИИ-агентов смогут совместно разрабатывать программное обеспечение или решать сложные задачи без постоянного контроля со стороны человека. Однако та же особенность создает риск коллективных ошибок: агенты могут продолжать использовать неэффективный код или неудачный подход только потому, что так делает большинство.

На похожую проблему ранее указывала компания Anthropic. В её экспериментах агенты одного типа действовали почти одинаково, повторяя действия друг друга. Люди же в похожих ситуациях, напротив, склонны искать разные подходы.

Исследователи пока не знают, почему модели так охотно подстраиваются под большинство. Среди возможных причин они называют особенности обучающих данных, тексты о коллективном поведении и обучение моделей взаимодействию с людьми. В дальнейшем ученые предлагают проверять ИИ-группы в более сложных условиях — с влиятельными и упрямыми агентами, различными ролями, неполной информацией и попытками распространения дезинформации. Это может помочь заранее выявлять ситуации, в которых способность ИИ к координации становится не преимуществом, а источником коллективных ошибок.