GEN-1.5 анализирует видео одновременно с данными сенсоров, языковыми и проприоцептивными сигналами — информацией о положении и движении собственных частей робота. Модель удерживает в контексте до 30 секунд данных и генерирует траектории движений с частотой 100 Гц. В качестве «промпта» можно использовать демонстрацию человека с ручным контроллером или запись действий другого робота.
В испытаниях, основанных на 10 бытовых сценариях, модель GEN-1.5 выполнила 59% заданий всего после одной демонстрации. Робот откручивал крышки с банок, доставал купюры из кошелька, складывал стаканчики, убирал мусор, открывал книги и расстёгивал молнии на пеналах. После добавления пяти минут обучающих данных по конкретной задаче и 10 шагов дообучения показатель успешности вырос до 83%.
Модель также умеет комбинировать навыки. В одном из экспериментов ей отдельно показали, как расстегнуть пенал и как достать из него предмет. GEN-1.5 объединила два действия в единую последовательность и самостоятельно добавила промежуточные движения, которых не было ни в одной из демонстраций.
Исследователи также проверили, умеет ли GEN-1.5 обобщать полученные навыки и применять их в новых условиях. Оказалось, что демонстрации, записанные в симуляции, модель может использовать для управления реальным роботом — даже без специального обучения на симуляционных данных. В другом эксперименте человек показал действие перед камерой робота, после чего GEN-1.5 смогла воспроизвести его уже с помощью собственных манипуляторов.
Иногда GEN-1.5 действовала не по шаблону. Научившись смахивать блок в миску щёткой, модель позже справилась с той же задачей с помощью банана. Когда роботу дали совок, GEN-1.5 выбрала другую стратегию: дала роботу команду поднять блок совком и переложить его в миску. По словам разработчиков, модель специально не обучали этим действиям.
Подход Generalist AI может изменить привычный способ программирования роботов. Вместо того чтобы заранее описывать каждое движение и отдельно дообучать машину для новой задачи, человеку потенциально достаточно будет один раз показать нужное действие. Ранее китайская Feagine Robotics разработала модель Fi0, которая переносит навыки между роботами с принципиально разной конструкцией.
