Нейросеть научилась визуализировать объекты через прикосновение
Logo
Cover

Роботы, запрограммированные видеть или осязать, не умеют использовать эти сигналы так же попеременно, как люди. Для того чтобы помочь им преодолеть этот барьер, специалисты из лаборатории искусственного интеллекта MIT разработали предиктивный ИИ, способный учиться видеть через прикосновения и наоборот.

Люди способны понять, каков предмет на ощупь, просто взглянув на него. Для того чтобы такая способность появилась и у машин, команда разработчиков применила генеративно-состязательную нейросеть (GAN), которая соединила визуальные данные с тактильными. Сами данные были взяты из VisGel, корпуса из более чем трех миллионов визуальных/тактильных пар, включающих 12 000 видеоклипов почти 200 бывших в употреблении объектов — инструментов, тканей, предметов обихода, сообщает MIT News.

На основании этой информации ИИ смог сделать вывод о том, какой предмет и в каком месте испытывал прикосновения. Для того чтобы нейросеть могла сравнить информацию, полученную из баз данных, с реальной, инженеры снабдили ее роботизированной рукой KUKA и тактильным сенсором GelSight, разработанным в соседней лаборатории MIT.

«Глядя на сцену, наша модель может представить себе ощущение прикосновения к гладкой поверхности или острому углу, — говорит руководитель проекта Ли Юньчжу. — Касаясь предметов вслепую, модель предсказывает взаимодействия с окружающей средой исключительно на основании тактильных ощущений. Соединив эти два чувства, можно увеличить возможности робота и снизить объем данных, необходимых ему для того, чтобы хватать и манипулировать предметами».

Исследователи подчеркивают, что пока их нейросеть не способна получать информацию об объекте в полном объеме. Например, цвет или мягкость предмета остаются для нее неразличимыми. Тем не менее, созданный ими метод способен заложить основу для более гладкой интеграции роботов в производственный процесс, в особенности, в ситуации нехватки визуальных данных.

Тактильный сенсор, точно измеряющий текстуру разных поверхностей, разработали в Южной Корее. Этот материал вырабатывает электрическую энергию в ответ на приложенное напряжение. Он напоминает кожу человека и распознает сигналы прикосновения и скольжения.