Большие языковые модели (БЯМ) обычно обучаются на огромных объемах текста или другой информации, которую они используют для генерации правдоподобных ответов путем прогнозирования. Чем больше параметров у БЯМ, тем она лучше справляется. Некоторые исследователи полагают, что именно БЯМ смогут в конце концов достичь состояния универсального ИИ, сравнявшись или превзойдя человека в большинстве областей.

Ученые из Вашингтонского университета в Сиэтле (США) исследовали различные пути возможного возникновения сверхразумного ИИ, рассказывает Nature. Например, сравнили способности четырех моделей GPT-3 разных размеров складывать четырехзначные числа. По показателю абсолютной точности модели третьего и четвертого размеров набрали от 0% до почти 100%. Однако этот разрыв становится меньше, если вместо точности оценивать количество верно предсказанных цифр в ответе. Также ученые обнаружили, что можно сгладить кривую, если задать моделям намного больше вопросов. В таком случае правильно отвечают даже модели меньшего размера.

Затем исследователи оценили производительность модели LaMDA. В тех случаях, когда она демонстрировала внезапный скачок интеллекта, например, когда распознавала иронию или подбирала верные поговорки при переводе, это были зачастую задачи с множественным выбором. Но когда ученые посмотрели на вероятности, которые модель назначала каждому ответу, признаки появления разума исчезали.

Наконец, в тестах на машинное зрение модели были обучены сжимать и, затем, реконструировать изображения. Задав строгий порог правильности, ученые смогли спровоцировать признаки интеллекта. Модели стали вести себя более изобретательно, сами проектировать свои исследования.

Тем не менее, выводы, к которым пришли авторы, указывают на незначительную вероятность внезапного скачка в развитии интеллекта БЯМ. Хотя полностью исключить такое нельзя, в большинстве аспектов современные языковые модели развивается предсказуемо.

По мнению авторов, неоправданные страхи перед появлением универсального ИИ могут повлиять на правила и регулирование этой технологии. В итоге темпы развития отрасли, которая могла бы принести много пользы, замедлятся, а при этом к разумному и, тем более, к сверхразумному ИИ мы еще не приблизились.

И все же OpenAI заблаговременно создала команду по предотвращению потенциально опасных ситуаций выхода сверхразумного интеллекта из-под контроля. Сэм Альтман уверен в скором появлении сильного ИИ и отдал спецкоманде ученых и инженеров 20% всей вычислительной мощности OpenAI на создание технологии его контроля.