Команда Nvidia создала бот в Minecraft под названием Voyager, который использует GPT-4 для решения проблем внутри игры. Языковая модель генерирует цели, которые помогают агенту исследовать игру, и код, который со временем улучшает навыки бота в игре.

Voyager не играет в игру как человек, но может считывать состояние игры напрямую, через API. Например, он может увидеть удочку в своем инвентаре и реку поблизости и использовать GPT-4, чтобы предложить цель заняться рыбной ловлей и набраться опыта. Затем он будет использовать эту цель, чтобы GPT-4 сгенерировал код, необходимый для ее достижения персонажем.

GPT-4 генерирует код для изменения поведения в Voyager. Если первоначально предложенный код не работает идеально, Voyager попытается улучшить его, используя сообщения об ошибках, отзывы об игре и описание кода, сгенерированного GPT-4.

Со временем Voyager создает библиотеку кода, чтобы научиться делать более сложные вещи и исследовать игру. Бот намного способнее, по сравнению с другими агентами Minecraft, утверждают разработчики. Voyager получает в три раза больше предметов, исследует пространство более чем вдвое больше и создает инструменты в 15 раз быстрее, чем другие агенты ИИ. В будущем этот подход можно улучшить за счет добавления в систему способа включения визуальной информации из игры.

Voyager демонстрирует огромный потенциал языковых моделей для выполнения полезных действий на компьютерах. Использование языковых моделей могло бы автоматизировать многие рутинные офисные задачи. Процесс, который Voyager использует с GPT-4, чтобы выяснить, как что-то делать в Minecraft, может быть адаптирован для программного помощника, который решает, как автоматизировать задачи через операционную систему на ПК или телефоне.

OpenAI, стартап, создавший ChatGPT, добавил к боту «плагины», которые позволяют ему взаимодействовать с онлайн-сервисами, такими как приложение для доставки продуктов Instacart. Microsoft, которой принадлежит Minecraft, также обучает программы ИИ играть в нее. Компания недавно анонсировала Windows 11 Copilot — функцию операционной системы, которая будет использовать машинное обучение и API для автоматизации определенных задач. Может быть хорошей идеей поэкспериментировать с такой технологией в Minecraft, где ошибочный код причинит относительно небольшой вред.