Проект GR00T использует базовую модель общего назначения, которая позволяет роботам-гуманоидам принимать текст, речь, видео или даже живые демонстрации в качестве входных данных и обрабатывать их для выполнения конкретных общих действий. Это не только расширит возможности роботов-гуманоидов, но и облегчит их разработку и внедрение. По сути, используя текст и демонстрацию в качестве входных данных, роботов может программировать любой человек при наличии соответствующего доступа.
Компания пока не может поделиться дополнительной информацией о внутренней архитектуре, но в будущем станет известно больше подробностей. В настоящее время только избранные разработчики гуманоидов имеют ранний доступ к модели, но Nvidia планирует в ближайшее время расширить ее доступность.
Чтобы обеспечить функционирование сложных моделей вроде GR00T, Nvidia также разработала вычислительную платформу Jetson Thor специально для гуманоидов.
Она основана на чипе Thor SoC и включает в себя высокопроизводительный кластер ЦП и новейший графический процессор, созданный на основе архитектуры Nvidia Blackwell с преобразовательным механизмом, обеспечивающим производительность 800 терафлопс 8-битного искусственного интеллекта. Производительность графического процессора системы в 8 раз выше, чем у предыдущей версии Jetson Orin, а производительность процессора — в 2,6 раза выше.
GR00T был разработан с помощью инструментов Isaac Robotic Platform от Nvidia, включая новую лабораторию Isaac Lab для обучения с подкреплением. В рамках платформы были разработаны два сценария использования: Isaac Manipulator и Isaac Perceptor. Isaac Manipulator предлагает графически ускоренные библиотеки и базовые модели, которые помогают производителям роботов-манипуляторов улучшить функциональность своих продуктов с помощью новых движений и ловкости. Библиотеки включают модели для обнаружения и отслеживания объектов, оценки их 6D-позы и создания точных прогнозов для лучшего понимания окружающей среды. Perceptor берет на себя задачу управления роботами в неструктурированной среде. Для трехмерного восприятия и объемного зрения используются многокамерный обзор на 360 градусов и ускоренные алгоритмы искусственного интеллекта.
Nvidia уже работает с несколькими партнерами, включая ArcBest, BYD и KION Group. Ожидается, что новые возможности платформы Isaac будут доступны во втором квартале этого года, а Project GR00T останется в раннем доступе. Nvidia принимает заявки, чтобы предоставить большему количеству разработчиков доступ к этой технологии, но сроки более широкого публичного выпуска пока неизвестны.
Между тем, OpenAI тоже работает над ИИ для гуманоидов. Недавно производитель робототехники Figure представил первые плоды сотрудничества с OpenAI — соглашения о разработке для андроидов модели искусственного интеллекта следующего поколения. На видео F1 демонстрирует навыки взаимодействия с людьми и средой, описывает то, что делает, поддерживает беседу, а также сам планирует и выполняет задачи.
