Робототехника часто опирается на сложные сенсорные системы и заранее просчитанные математические модели для управления движениями роботов. Такие решения хорошо работают на жестких промышленных манипуляторах, но становятся серьезной проблемой для мягких и биоподобных конструкций. Мягкие роботы легче деформируются, не так предсказуемы и требуют дорогих сенсоров или упрощений в конструкции, чтобы их можно было контролировать. Это сдерживает развитие гибких и доступных роботов, способных работать в нестандартных условиях.

Чтобы преодолеть эти ограничения, ученые предложили новый подход. Вместо сложного программирования и настройки датчиков они создали систему, которая позволяет роботам учиться управлять собой, просто наблюдая за собственными движениями с помощью камеры. Разработанная технология получила название Neural Jacobian Fields (NJF).

В основе NJF лежит нейронная сеть, которая позволяет роботу выучить собственную «карту тела» и понять, как он реагирует на управляющие команды.

Система фиксирует сразу два аспекта: трехмерную форму робота и чувствительность его частей к двигательным сигналам. Разработчики взяли за основу технологию NeRF, которая умеет восстанавливать 3D-объекты по изображениям. NJF пошла дальше — она не только воссоздает форму, но и обучается предсказывать, как любая точка на теле робота сдвинется в ответ на то или иное движение.

Обучение проходит просто: робот делает случайные движения, а несколько камер наблюдают за результатом. Человеческий контроль или предварительные знания о конструкции не нужны — система сама находит связи между движением и командами.

После обучения роботу хватает одной обычной камеры с частотой 12 Гц, чтобы управлять собой в реальном времени и быстро адаптироваться к новым ситуациям.

Даже если данные неполные или с ошибками, NJF позволяет строить точную карту управляемости. Это делает технологию гораздо доступнее и быстрее, чем традиционные симуляторы, которые обычно требуют больших вычислительных ресурсов.

Во время тестов NJF успешно работала с разными конструкциями — мягкой пневматической рукой, жесткой механической кистью Allegro, 3D-печатной роботизированной рукой и даже вращающейся платформой без встроенных датчиков. В каждом случае система позволяла роботу «осознать» собственную форму и научиться управлять движениями, опираясь исключительно на зрение.

Однако у технологии пока есть недостатки. Система не умеет обрабатывать информацию о касаниях и усилиях — без тактильных данных ей сложно выполнять задачи, где важно учитывать силу контакта.

Также модель необходимо обучать отдельно для каждого нового робота, и пока для этого требуются несколько камер и специальное оборудование. Исследователи работают над тем, чтобы в будущем сделать процесс обучения доступным даже для обычных пользователей, например, с помощью записи движений на камеру смартфона.

Разработчики уверены, что этот подход откроет путь к созданию более гибких, доступных и способных к самообучению роботов и дронов. Они смогут осваивать управление, как люди, и работать там, где дорогие сенсоры или GPS бесполезны — на фермах, стройках, дома или на складах.