Ранее эксперты считали, что ИИ может бороться с дезинформацией, опровергая мифы и теории заговора в социальных сетях, например, о химиотрассах или плоской Земле. Однако новое исследование демонстрирует обратную сторону: современные модели способны убеждать людей, жертвуя точностью фактов.

Команда исследователей протестировала 19 языковых моделей на почти 80 000 участников. Ботам предлагалось убедить пользователей в необходимости финансирования здравоохранения или изменения иммиграционной политики. В течение 10 минут чат-боты генерировали до 25 утверждений, перегружая участников потоком фактов и статистики — прием, известный как «галоп Гиша». При этом точность фактов снижалась. Например, у GPT‑4 она упала с 78 % до 62 %.

«Одноразовое» статическое сообщение ИИ объемом 200 слов не оказывало заметного влияния. Гораздо более убедительным оказалось 10-минутное взаимодействие в формате диалога, состоящего примерно из семи реплик. Оно имело продолжительный эффект на мнение участников.

Влияние этого приёма зависит от того, смогут ли боты реально взаимодействовать с людьми. Изменить сам ChatGPT, которым еженедельно пользуются 900 млн человек, невозможно, но можно настроить базовую языковую модель для работы на сайте, в виде бота службы поддержки или через текстовые кампании в мессенджерах. Кампания со средними ресурсами способна развернуть такую систему за несколько недель с затратами примерно $50 000, однако поддерживать длительное взаимодействие с аудиторией будет непросто.

Такие технологии могут использоваться для продвижения идеологий, создания политических волнений и даже дестабилизации общественных институтов.