Dreamer (Мечтатель) — это разработка команды DeepMind из Google и Университета Торонто. Когда модель учили играть в Minecraft, учёные использовали метод обучения с подкреплением. ИИ не объясняли, что нужно делать. Он просто получал награду, если находил и собирал алмазы.

Каждые полчаса исследователи сбрасывали игровой мир, создавая новые случайные условия. Несмотря на постоянные изменения, Dreamer быстро научился ориентироваться в незнакомой среде и к концу эксперимента собирал алмазы меньше, чем за полчаса — на уровне опытных игроков. Обычно считается, что в Minecraft играют преимущественно дети, но это не так: средний возраст игроков составляет 24 года. Поэтому ИИ-модель приблизилась к адаптивности и логическому мышлению взрослого человека.

Ключевое преимущество Dreamer — умение моделировать будущее. ИИ формирует в голове мысленную карту возможных действий и проверяет стратегии в воображении, прежде чем что-то делать. Это приближает его к тому, как учится человек: наблюдает, пробует, делает выводы и отказывается от неэффективного поведения.

Он не изучает действия человека, как это делают традиционные ИИ, а строит понимание мира с нуля. Исследователи утверждают, что это первый алгоритм, который сумел сам научиться добывать алмазы в Minecraft без каких-либо данных от людей.

Хотя Minecraft — это игра, значение проделанной учёными работы выходит далеко за её пределы. Возможность ИИ учиться сложным вещам самостоятельно может пригодиться во многих областях. Исследователь из DeepMind Данияр Хафнер считает, что способность моделировать будущее поможет создавать роботов, которые будут действовать разумно и адаптироваться к новым ситуациям без постоянного вмешательства человека.

Исследование, описывающее работу Dreamer, опубликовано в журнале Nature.