Пока что SIMA — это амбициозный исследовательский проект, а не готовый продукт. Учёные хотят сделать его максимально похожим на человека-сокомандника, поэтому им предстоит долгий путь. В будущем SIMA будет выполнять команды игроков и вести с ними беседы на разные темы, подобно тому, как общаются люди. Научить систему искусственного интеллекта играть в игры — это уже технический подвиг, но если она освоит инструкции разных игровых настроек, то сможет действовать в любой игровой среде. Даже в той, с которой сталкивается в первый раз.

Сейчас DeepMind обучила ИИ на 9 непохожих друг на друга играх с открытым миром. Их предоставили партнёры Google. Это Eco, Goat Simulator 3, Hydroneer, No Man’s Sky, Satisfactory, Space Engineers, Teardown, Valheim и Wobbly Life. Исследователей интересовала игровая среда, которая контролируется от первого лица или от третьего лица через плечо. Учёные выбирают только те игры, где есть простор для открытого взаимодействия, но нет чрезмерного насилия. Сюда вошло много разных концепций — от исследования космических пространств до дурацких шалостей от лица козла-вредителя.

Чтобы сделать SIMA максимально универсальным, агенту не предоставляют какой-либо привилегированный доступ к внутренним данным игры или API-интерфейсам управления. Система не принимает в качестве входных данных ничего, кроме пикселей, а в качестве выхода использует сигналы, как от мышки и клавиатуры. Это помогает имитировать то, как люди играют в видеоигры.

В качестве набора данных для обучения SIMA использует видео от геймеров-людей и связанные с игровым процессом входные данные с временным кодом. Их сопровождают описания происходящего на экране, сделанные на естественном языке. Эти ролики сосредоточены на инструкциях, которые можно выполнить менее чем за 10 секунд, чтобы избежать сложностей из-за выбора. Интеграция с предварительно обученными моделями, такими как SPARC и Phenaki, также помогает SIMA интерпретировать языковые и визуальные данные.

Сейчас учёные тестируют, как модель справляется с разными языковыми командами для разных игровых задач, от навигации до сбора ресурсов. Ей говорят, например, подойти к своему кораблю, собрать малину или порезать картошку. Потом исследователи оценивают, как агент справился с заданиями, с помощью компьютеров и обратной связи от людей-геймеров. Результаты многое проясняют в логике и возможностях ИИ: агент справляется с 75% задач по вождению, но только с 40% задач по ходьбе.

Интересно, что играть модель учится почти как человек — она переносит уже полученные знания о процессах и их описаниях на новую среду. Например, агент вспомнил, как запрыгивал в космический корабль в одной игре, чтобы запрыгнуть в машину в другой. SIMA уже на 67% эффективнее, чем похожие агенты, которых обучали только в одной среде.