В эксперименте участвовали взрослые в возрасте от 18 до 81 года. Исследователи выбрали три коротких рассказа, написанных людьми и опубликованных в известных литературных изданиях, а затем попросили ChatGPT создать похожие тексты. В первом этапе 1682 участника читали рассказы, при этом им намеренно сообщали разную информацию об авторстве. Одним говорили, что текст написал человек, другим — что его создал ИИ. Иногда это было правдой, иногда — нет. После этого участники оценивали качество рассказа и то, насколько он им понравился.

В двух других экспериментах участникам показывали пары рассказов — один написанный человеком, другой сгенерированный ИИ, без указания автора. Затем их просили определить, какой текст принадлежит человеку, а какой нейросети. Результаты показали, что сделать это оказалось почти невозможно. Во втором эксперименте правильные ответы составили 39,93%, а в третьем — 51,97%, то есть примерно на уровне случайного угадывания.

При этом высшие баллы получили тексты нейросетей, которые читатели считали человеческими. Исследователи объясняют это предвзятостью: принято считать, что хорошая литература невозможна без эмпатии и уникального жизненного опыта, доступных только человеку. На деле аудитория не увидела разницы между ИИ и настоящим писателем.

Авторы работы также выяснили, что лучше распознавать тексты ИИ помогали не литературные знания, а опыт работы с технологиями.

Участники, которые лучше разбирались в искусственном интеллекте, чаще правильно определяли происхождение текстов. Например, каждый дополнительный балл по специальной шкале грамотности в области ИИ (AILS) повышал вероятность правильного ответа на 33%. Такие пользователи чаще замечали характерные особенности нейросетевых текстов, например, длинные тире и структуры предложений типа «дело не только в X, но и в Y».

Учёные объяснили, что рассказы, созданные ИИ, могли казаться людям более привлекательными из-за своей простоты и ясности. Нейросеть чаще прямо формулирует главную мысль и объясняет идеи без сложного подтекста. Авторы-люди, напротив, оставляют пространство для интерпретации, используют намеки и неоднозначность, что требует от читателя больше умственных усилий.

Полученные результаты нельзя объяснить только клиповым мышлением или влиянием соцсетей. По мнению учёных, алгоритмы лишь подстёгивают базовую психологическую черту человека — стремление к предсказуемости и упорядоченности.