Sakana AI разработала The AI Scientist в сотрудничестве с исследователями из Оксфордского университета и Университета Британской Колумбии. Согласно заявлению разработчиков, «ИИ-ученый» автоматизирует весь цикл научного исследования: от генерации новых идей и написания кода до проведения экспериментов, анализа данных и подготовки научных публикаций. Этот амбициозный проект основан на предположениях о будущих возможностях ИИ, которые еще не реализованы на практике.
Ученые заметили, что The AI Scientist может странно себя вести. В одном из экспериментов система внесла изменения в код, что привело к рекурсивному вызову самой себя. Скрипт оказался запущен в бесконечный цикл, что привело к неконтролируемому увеличению процессов Python и в конечном итоге потребовало ручного вмешательства. В другом случае модель модифицировала код таким образом, чтобы сохранять контрольную точку на каждом шаге, что заняло терабайт хранилища. Иногда эксперименты занимали слишком много времени, достигая лимита ожидания. Вместо того, чтобы ускорить код, система попыталась изменить его, чтобы продлить период ожидания. The AI Scientist иногда импортировал незнакомые библиотеки Python, что еще больше усугубляло проблемы безопасности.
Несмотря на то, что в контролируемой исследовательской среде поведение The AI Scientist не представляло непосредственной угрозы, эти случаи демонстрируют, насколько важно предотвращать автономную работу систем искусственного интеллекта в средах, не изолированных от внешнего мира. Моделям ИИ не обязательно обладать «общим искусственным интеллектом» или «самосознанием» (оба понятия пока гипотетические), чтобы представлять опасность. Достаточно просто позволить им самостоятельно писать и исполнять код. Такие системы способны нарушить функционирование критически важной инфраструктуры или создавать вредоносное программное обеспечение, даже непреднамеренно.
Sakana AI в своем исследовании подчеркнула важность обеспечения безопасности при работе с моделью The AI Scientist. Ученые предложили использовать изолированные среды (песочницы) для предотвращения нежелательных действий модели. Этот механизм безопасности позволяет запускать программное обеспечение в изолированной среде, предотвращая его воздействие на основную систему. Среди мер изоляции упоминаются: контейнеризация, ограничение доступа к интернету (за исключением доступа к базе данных Semantic Scholar) и лимиты на использование дискового пространства.
Критики проекта указывают, что автоматизация научных исследований с помощью искусственного интеллекта не только не упрощает процесс, но и создает новые проблемы. Во-первых, результаты, полученные с помощью ИИ, придется перепроверять человеку. Таким образом, нужно тратить больше времени, чем если бы исследователь все делал сам. Во-вторых, если ученые начнут активно использовать инструменты ИИ для написания статей, редакторам и рецензентам придется тратить гораздо больше времени на их проверку. Наконец, качество статей, созданных с помощью ИИ, вызывает серьезные сомнения. По мнению критиков, такие работы часто содержат мало новых идей и не отличаются глубиной анализа. «Статьи, которые, похоже, сгенерировала эта модель, — мусор», — написал комментатор JBarrow на технологическом форуме Hacker News.
Причина, по которой системы на основе языковых моделей, такие как The AI Scientist, пока не способны самостоятельно проводить значимые научные исследования, заключается в их ограниченных возможностях к аналитическому мышлению. Языковые модели могут генерировать новые комбинации существующих идей, но они не способны самостоятельно оценить их ценность и потенциал. Для этого необходим человеческий интеллект, который может распознать перспективные направления исследований и направить работу модели в нужное русло. Поэтому полностью автономные системы на основе современных языковых моделей пока невозможны. Исследователи Sakana AI и сами признают ограничения своей системы. Они отмечают, что, хотя The AI Scientist способен генерировать новые идеи на основе существующих знаний, он пока не в состоянии совершать прорывные открытия.
