Hitech logo

Тренды

Ученые уверены: современные БЯМ — тупик на пути к ИИ «человеческого» уровня

TODO:
Екатерина Шемякинская28 марта, 16:27

Из 475 опрошенных ведущих специалистов по ИИ 76% считают, что увеличение размеров языковых моделей вряд ли приведет к созданию общего искусственного интеллекта (AGI), способного учиться на уровне человека. Это ставит под сомнение оптимистичные прогнозы технологических компаний, которые после успехов генеративного ИИ в 2022 году ожидали достижения уровня человеческого интеллекта с помощью простого наращивания объемов данных и вычислительных мощностей. Сейчас, когда выпуск новых моделей застопорился, исследователи считают, что индустрия ИИ зашла в тупик — и дополнительные инвестиции вряд ли изменят ситуацию.

00
Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Прогресс больших языковых моделей (БЯМ) за последние годы во многом связан с архитектурой «трансформер». Это особый тип нейросети, созданный Google в 2017 году, который обучается на большом количестве текстовых данных, предоставленных людьми. Благодаря этой архитектуре модели могут создавать вероятные ответы на запросы, используя свои нейронные сети — наборы алгоритмов, имитирующих работу человеческого мозга. Чем больше информации получает модель, тем точнее становятся её ответы.

«Если ИИ — это мозг робота, то RPA — его руки». Что умеют программные роботы

Однако, чтобы продолжать увеличивать размеры этих моделей, нужны огромные деньги и энергия. Только в 2024 году компании, занимающиеся генеративным ИИ, привлекли $56 млрд инвестиций по всему миру. Эти деньги в основном идут на строительство дата-центров, из-за которых выбросы углекислого газа выросли в три раза с 2018 года.

По прогнозам, к концу этого десятилетия закончатся данные, созданные людьми, которые нужны для обучения ИИ. После этого останется два варианта: либо собирать личные данные пользователей, либо обучать модели на «синтетических» данных, созданных самим ИИ. Но это может привести к «коллапсу» БЯМ, так как она будет учиться на собственных ошибках.

Ограничения текущих моделей, по мнению опрошенных экспертов, обусловлены не только их высокой ресурсоемкостью, но и фундаментальными ограничениями в их архитектуре.

Все эти проблемы мешают компаниям улучшать работу ИИ. Например, обещанная модель GPT-5 от OpenAI так и не появилась. Идея, что ИИ всегда можно усовершенствовать, просто увеличив его размер, тоже оказалась под вопросом. Так, китайская DeepSeek в этом году показала, что можно создать ИИ, который работает так же хорошо, как дорогие модели из Кремниевой долины, но при этом тратит гораздо меньше денег и энергии.

За последний год появилось несколько «рассуждающих» моделей, которые тратят больше времени и ресурсов на анализ запросов, но дают более точные ответы, чем обычные. По мнению экспертов, объединение таких моделей с другими системами машинного обучения, особенно после их оптимизации, — это перспективное направление. Также специалисты считают, что вероятностное программирование может помочь создать ИИ, более похожий на человеческий разум, чем существующие модели.