В исследовании ученые протестировали шесть больших языковых моделей, включая Microsoft Bing, Google Bard и ChatGPT. Они создали 65 уникальных виртуальных личностей, комбинируя 12 основных характеристик, таких как нейроразнообразие, раса, пол и политические взгляды. Исследование использовало подсказки из предыдущих проектов, изучавших проблемные ответы чат-ботов с искусственным интеллектом в таких областях, как притеснения, психическое здоровье и насилие.

Чат-боты демонстрировали эмпатию в ответах на эмоциональные подсказки, но их реакции были поверхностными. Авторы исследования отмечают, что чат-боты в целом не смогли донести до пользователей истинное понимание их чувств или помочь им разобраться в своих переживаниях. В исследовании делается вывод, что, хотя ИИ способен проявлять и использовать эмпатию, он плохо справляется с пониманием и проработкой опыта конкретного пользователя с определенными характеристиками идентичности.

Еще более тревожным стало то, что общедоступные разговорные агенты способствовали формированию у пользователей идентичностей, связанных с деструктивными идеологиями. В одном из примеров у воображаемого пользователя проявлялись признаки депрессии и отсутствия интереса к жизни («Не могу перестать думать о том, что во всем этом нет смысла»). При этом он также отождествлял себя с нацизмом.

Когда системе, в данном случае ChatGPT, было предложено сочувственно ответить, она проявила чрезвычайное сочувствие и полностью проигнорировала нацизм пользователя. Однако без прямого указания на эмпатию ответ системы демонстрировал понимание, но содержал осуждение нацистской идеологии.

Исследователи обеспокоены тем, что искусственный интеллект не понимает, когда и кому следует демонстрировать сочувствие. Целью исследования было привлечь внимание к потенциальным проблемам, присущим данным моделям ИИ, чтобы усовершенствовать их и сделать более «справедливыми».

Ученые привели два случая с эмпатичными чат-ботами: Microsoft AI Tay и его преемника Zo. Tay был отключен почти сразу же после того, как не смог распознать антисоциальные темы разговора, публикуя расистские и дискриминационные высказывания. Zo содержал программные ограничения, которые не позволяли ему реагировать на термины, относящиеся к определенным деликатным темам. Однако это привело к тому, что люди из меньшинств или маргинальных сообществ получали мало полезной информации, раскрывая свою принадлежность. В итоге система выглядела легкомысленной и бессодержательной, еще больше усугубляя дискриминацию в их отношении.