Hitech logo

искусственный интеллект

DeepMind представила фреймворк, который улучшает способности БЯМ

TODO:
Дарина Житова8 февраля, 12:48

Исследователи из Google Deepmind и Университета Южной Калифорнии предложили фреймворк SELF-DISCOVER, который улучшает способности больших языковых моделей к рассуждению. С этим подходом GPT-4 достигла результатов в 81%, 85% и 73% точности в тестах Big-Bench Hard, Thinking for Doing и Math соответственно. В то же время, при использовании Chain of Thought (CoT), другого популярного фреймворка, точность снизилась до 75%, 52% и 71%. Новый метод также требует в 10-40 раз меньше вычислительных мощностей для вывода.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Программная платформа SELF-DISCOVER позволяет искусственному интеллекту (в данном случае, языковым моделям, таким как GPT-4 или PaLM 2) самостоятельно учиться находить и применять наиболее эффективные способы решения сложных задач. То есть, вместо того, чтобы следовать заранее заданному алгоритму, модели сами определяют, как лучше всего решить поставленную перед ними задачу.

Главная особенность этого фреймворка в том, что он позволяет моделям самостоятельно выбирать и комбинировать различные блоки рассуждений, чтобы сформировать наиболее подходящую стратегию достижения цели. Это отличается от предыдущих подходов, где модель должна была следовать набору четких инструкций.

Метод работает в два этапа. На первом модель ИИ анализирует поставленную перед ней задачу и определяет, какие блоки рассуждений могут быть применены для ее решения. Эти блоки — атомарные единицы логики и рассуждения, такие как критическое мышление, пошаговое решение, анализ подзадач и так далее. Модель просматривает различные доступные ей методы рассуждения и выбирает наиболее подходящие. Этот процесс похож на то, как человек, сталкиваясь с новой проблемой, ищет пути ее решения и выбирает оптимальный.

После того как модель сформирует стратегию решения, она переходит к ее применению. На этом этапе модель следует разработанной структуре рассуждений, пошагово выполняя необходимые действия для достижения результата.

Используя SELF-DISCOVER, модели способны решать задачи более гибко и эффективно. В отличие от традиционных методов, где модель может «застрять» на сложных задачах из-за несоответствия заданного алгоритма, SELF-DISCOVER позволяет ИИ адаптироваться и находить оптимальный путь к решению. Это улучшает результаты в сложных тестах.

Исследователи протестировали SELF-DISCOVER, используя его в GPT-4, PaLM 2-L и других БЯМ на 25 различных задачах, требующих сложных рассуждений. В 21 случае из 25 SELF-DISCOVER показал лучшие результаты, чем традиционные методы, улучшив производительность на 32% и более. Кроме того, оказалось, что SELF-DISCOVER требует в 10-40 раз меньше вычислительных ресурсов для получения вывода.