Исследование Университета Арканзаса включало три теста. В задании «Альтернативное использование» предлагалось придумать необычное применение предметам повседневного обихода, например, веревке или вилке. Выполняя задание «Последствия», участники должны были представить возможные последствия гипотетических ситуаций, например: «Что, если людям больше не нужен сон?». В задании «Удаленные ассоциации» нужно было придумать 10 существительных, которые семантически далеки друг от друга. Например, между «собакой» и «кошкой» не так уж много смысловой дистанции, в то время как между словами «кошка» и «онтология» она очень большая.
Авторы исследования оценивали количество ответов, длину ответа и семантическую разницу между словами. В результате они пришли к выводу, что, в целом, GPT-4 дал более оригинальные и обдуманные ответы, чем люди, в каждой из задач на нестандартное мышление, даже при учете скорости ответов. Иными словами, GPT-4 продемонстрировал высокий творческий потенциал по всему набору задач на нестандартное мышление.
Ученые указывают на некоторые ограничения. Они отмечают, что все использованные в исследовании метрики являются показателями творческого потенциала, но есть еще один важный аспект креативности человека — непосредственное участие в творческой деятельности или достижения в данной области. Целью исследования было изучение творческого потенциала на уровне усредненного индивида, а не отдельных людей, которые могут иметь творческие задатки.
Кроме того, исследователи не оценивали адекватность и соответствие ответов GPT-4 контексту. Хотя ИИ мог предложить больше оригинальных и творческих ответов, участники-люди могли загнать себя в рамки, поскольку их ответы должны быть привязаны к реальному миру. К тому же, у человека могла отсутствовать мотивация писать подробные ответы. ИИ, в отличие от людей, не обладает свободой воли, а его творческий потенциал не проявится без участия пользователя.
Хотя большие языковые модели могут опережать людей в некоторых креативных задачах, пока не ясно, являются ли они угрозой для человеческого творчества. В то же время использование искусственного интеллекта в качестве вдохновения и поддержки для людей в творческом процессе обещает новые возможности и расширяет сами границы творчества.