Модели рассуждений отлично справляются с задачами по математике и программированию. Они точнее, потому что используют больше вычислительных ресурсов, но при этом работают медленнее. Разработка такого ИИ происходит в два этапа: сначала обычную модель обучают на большом объеме данных, а затем применяют метод обучения с подкреплением. Это позволяет модели получать «обратную связь» о правильности ее решений.

Ведущие лаборатории ИИ вроде OpenAI до сих пор не задействовали значительных вычислительных мощностей на этапе обучения с подкреплением при тренировке моделей логического мышления, отмечает Epoch.

Но ситуация меняется. OpenAI сообщила, что для обучения o3 использовала примерно в 10 раз больше ресурсов, чем для ее предшественницы o1. По оценкам Epoch, основная часть этих мощностей была направлена именно на обучение с подкреплением. Более того, исследователь OpenAI Дэн Робертс сообщил, что в будущем компания планирует увеличить вычислительные ресурсы для этого этапа — даже больше, чем для первоначального обучения моделей.

Однако у обучения с подкреплением есть предел по вычислительным ресурсам. Аналитик Epoch Джош Ю поясняет: если эффективность стандартного обучения ИИ-моделей растет вчетверо каждый год, то для обучения с подкреплением этот показатель увеличивается десятикратно каждые 3-5 месяцев. По его словам, уже к 2026 году развитие логических способностей ИИ, вероятно, достигнет границы.

Исследование Epoch содержит ряд допущений, частично основанных на публичных заявлениях руководителей ИИ-компаний. Авторы отмечают, что масштабирование моделей логического мышления может столкнуться не только с вычислительными ограничениями, но и с высокими затратами на исследования.

Любые признаки того, что модели рассуждений могут скоро достигнуть своего предела, вероятно, вызовут беспокойство в индустрии ИИ, которая вложила огромные средства в их разработку. Исследования уже выявили недостатки у таких моделей. Например, более выраженную склонность к галлюцинациям по сравнению с традиционными алгоритмами. При этом их эксплуатация остаётся крайне затратной.