В новом исследовании команда привлекла 49 экспертов-ученых, которые занимаются обработкой естественного языка, для написания новых идей по семи темам данной области. Это были кандидаты наук и постдокторанты из 36 различных авторитетных учреждений. За каждую предложенную идею участникам платили $300. Пять лучших идей были дополнительно вознаграждены премией в $1000. Так участников стимулировали разрабатывать оригинальные, понятные и реализуемые концепты. Затем команда создала большую языковую модель для генерации исследовательских идей по тем же семи темам.

Обработка естественного языка (NLP) — это раздел искусственного интеллекта, посвященный взаимодействию человека и машины на естественном языке. NLP позволяет компьютерам понимать не только грамматику, но и более тонкие нюансы языка, такие как подтекст и эмоциональную окраску.

По завершении сбора работ, все тексты обработали с помощью языковой модели, чтобы привести их к единому стилю написания. При этом содержание каждой работы оставалось неизменным. Это создавало равные условия для всех участников исследования и исключило влияние индивидуального стиля написания на оценку идей. После этого 79 экспертов вслепую оценивали все идеи — и людей, и искусственного интеллекта. Всего они представили 298 обзоров — каждый проект получил от двух до четырех независимых отзывов.

ИИ продемонстрировал значительно более высокие результаты по таким критериям, как новизна и оригинальность идей, по сравнению с исследователями-людьми. Оценки по осуществимости и эффективности оказались близки к человеческим и не выявили статистически значимых различий.

Тем не менее, у языковых моделей были недостатки. Во-первых, в генерируемых идеях не было разнообразия. Во-вторых, языковые модели испытывали трудности с оцениванием собственных результатов. В-третьих, они склонны к самоповторам, даже при наличии соответствующих инструкций. Наконец, модели продемонстрировали низкую согласованность при оценке идей по сравнению с исследователями-людьми.

Исследование признает, что человеческая оценка оригинальности идеи может быть субъективна. Для более точной проверки гипотезы о способности языковых моделей к автономным научным открытиям исследователи планируют расширить состав экспертной группы. Авторы предлагают в будущих исследованиях реализовать идеи, сгенерированные как ИИ, так и людьми, что позволит оценить их практический потенциал.