Несмотря на громкое заявление стартапа, успех ИИ в написании научных статей вызывает сомнения. Sakana сама признаёт, что система периодически допускала ошибки в цитировании источников. Например, источник метода, разработанного в 1997 году, искусственный интеллект ошибочно указал как публикацию 2016 года. Это в очередной раз подчеркнуло проблемы ИИ с точностью и достоверностью данных.

Кроме того, эксперты указывают на то, что успех Sakana был частичным. Публикацию приняли не в основной секции конференции ICLR, а лишь на её отдельном семинаре. Такие семинары традиционно имеют более высокие шансы на приём статей, а тексты для них рецензируют молодые и менее опытные учёные. Также отмечается, что отозванная статья не прошла дополнительный этап проверки, на котором её могли бы отклонить окончательно.

Учёные подчёркивают, что компания сама выбирала наиболее удачные варианты из нескольких работ, созданных её системой. Это означает, что результатом стало не самостоятельное исследование искусственного интеллекта, а скорее совместная работа ИИ и человека. По словам исследователя из Университета Альберты Мэтью Газдиала, достижения Sakana вновь показывают, что взаимодействие человека и ИИ способно приносить хорошие результаты, но не доказывают, что искусственный интеллект может работать самостоятельно.

Майк Кук, научный сотрудник Королевского колледжа Лондона, выразил сомнения в серьёзности проведённой экспертизы. Он отметил, что подобные семинары посвящены обсуждению трудностей и отрицательных результатов исследований. Это облегчает задачу искусственному интеллекту, который может правдоподобно описать проблемы и сложности экспериментов, но не гарантирует значимость научного вклада.

Компания Sakana также не утверждает, что её система может создавать инновационные или революционные исследования. Главной задачей эксперимента было проверить качество научных текстов, созданных искусственным интеллектом. Стартап подчёркивает, что важно разработать чёткие правила и нормы для использования ИИ в науке. Без них возможны ситуации, в которых ИИ пишет статьи лишь для успешного прохождения рецензирования, а не для реального вклада в науку.

ICLR — ежегодное мероприятие, посвящённое исследованиям в области машинного обучения и искусственного интеллекта, особенно глубокого обучения. Конференция включает доклады приглашённых специалистов, а также устные и стендовые презентации рецензируемых статей. ICLR известна открытым процессом рецензирования: обсуждения между авторами и рецензентами доступны публично.