Стартап Figure появился совсем недавно, в прошлом году, собрав инженеров из Boston Dynamics, Tesla, Google DeepMind и Archer Aviation для создания «первого в мире коммерчески успешного универсального человекоподобного робота». В октябре у компании уже был стоящий на двух ногах и выполняющий базовые действия автономный робот, а в начале 2024 года он уже был готов к работе на заводе BMW. Вскоре после этого Figure объявила об успешном раунде финансирования, в котором приняли участие, в частности, Microsoft, Nvidia и OpenAI. Последняя, вдобавок, согласилась разработать для андроидов Figure новое поколение ИИ-моделей. И теперь нам показали, что это значит.

Как подтвердил глава Figure Бретт Эдкок, встроенные в робота F1 камеры посылают данные в большую зрительно-языковую модель, обученную OpenAI, сообщает Venture Beat. Собственная нейросеть Figure «тоже получает картинку с частотой 10 Гц через камеры робота». Также модель OpenAI отвечает за способность андроида понимать человеческую речь. Все эти потоки информации преобразуются нейросетью в «быстрые, низкоуровневые, ловкие действия» F1.

Стоя перед кухонным столом, F1 описал все, что видит, а затем верно интерпретировал просьбу человека дать ему что-нибудь съедобное, аккуратно протянув ему яблоко. Затем робот выбрасывает мусор и ставит тарелку и чашку в сушилку.

Эдкок заверил, что во время съемок видео роботом никто не управлял, и что запись не была ускорена при монтаже. В таком случае это действительно примечательный результат сотрудничества, которому еще только две недели.  Конечная цель компании, по словам ее руководителя, обучить модель таким образом, чтобы она могла управлять действиями миллиардов человекоподобных роботов.

Проводит испытания человекоподобных роботов на своей сборочной линии и китайская автомобильная компания NIO. Роботы Walker S, представленные компанией Ubtech Robotics, помогают в проверке качества замков дверей, ремней безопасности и фар, а также прикрепляют логотипы на автомобили.