Большинство ИИ-систем для роботов построены на основе видеогенеративных моделей, которые изначально разработаны для создания цифрового контента. Такие модели оптимизированы под визуальное качество и достоверность изображений, а не под физическую точность или скорость реакции. Поэтому при адаптации для управления роботами они теряют эффективность в реальных условиях и плохо работают в новых ситуациях.
LingBot-VA 2.0 разработана с нуля специально для взаимодействия с физическим миром. Вместо простого воспроизведения заученных движений модель сначала прогнозирует, как то или иное действие изменит окружение, и только затем выбирает следующий шаг. В основе системы — единая авторегрессивная модель, которая объединяет прогнозирование визуальных изменений и планирование действий.
Для этого разработчики реализовали четыре технических решения. Семантический токенизатор совместно сжимает визуальную информацию и данные о действиях, улучшая перевод инструкций в движения. Причинно-следственная стратегия предобучения гарантирует корректную временную последовательность прогнозов. Архитектура «Смешанные эксперты» наращивает возможности модели без потери скорости вывода. Асинхронный механизм вывода позволяет роботу прогнозировать следующие состояния прямо во время выполнения текущих действий, непрерывно обновляя решения на основе наблюдений из реального мира.
В результате LingBot-VA 2.0 обеспечивает управление в реальном времени с обратной связью на частоте 150 Гц на одном графическом процессоре.
Не менее важна способность к быстрой адаптации: модель осваивает новые задачи манипулирования, используя всего 20 демонстраций, без необходимости переобучения. Это важно для промышленного применения, где условия работы постоянно меняются.
В компании уже протестировали LingBot-VA 2.0 на задачах, требующих точных манипуляций. Роботы с новой моделью готовили завтрак, распаковывали посылки, вставляли трубки, собирали винтовые соединения, складывали одежду и открывали ящики. Кроме того, система продемонстрировала высокие результаты в робототехнических бенчмарках RoboTwin 2.0 и LIBERO, превзойдя существующие методы в ряде сценариев.
Модель также обладает долговременной памятью, что позволяет различать визуально похожие, но контекстно разные ситуации и выполнять сложные многоэтапные операции. В Robbyant рассчитывают, что LingBot-VA 2.0 станет частью открытой экосистемы для воплощенного искусственного интеллекта и ускорит внедрение роботов в промышленности и других сферах. Вместе с LingBot-VA 2.0 компания представила модель LingBot-World 2.0, способную создавать долгоживущие интерактивные миры.
