Люди способны понять, каков предмет на ощупь, просто взглянув на него. Для того чтобы такая способность появилась и у машин, команда разработчиков применила генеративно-состязательную нейросеть (GAN), которая соединила визуальные данные с тактильными. Сами данные были взяты из VisGel, корпуса из более чем трех миллионов визуальных/тактильных пар, включающих 12 000 видеоклипов почти 200 бывших в употреблении объектов — инструментов, тканей, предметов обихода, сообщает MIT News.
На основании этой информации ИИ смог сделать вывод о том, какой предмет и в каком месте испытывал прикосновения. Для того чтобы нейросеть могла сравнить информацию, полученную из баз данных, с реальной, инженеры снабдили ее роботизированной рукой KUKA и тактильным сенсором GelSight, разработанным в соседней лаборатории MIT.
«Глядя на сцену, наша модель может представить себе ощущение прикосновения к гладкой поверхности или острому углу, — говорит руководитель проекта Ли Юньчжу. — Касаясь предметов вслепую, модель предсказывает взаимодействия с окружающей средой исключительно на основании тактильных ощущений. Соединив эти два чувства, можно увеличить возможности робота и снизить объем данных, необходимых ему для того, чтобы хватать и манипулировать предметами».
Исследователи подчеркивают, что пока их нейросеть не способна получать информацию об объекте в полном объеме. Например, цвет или мягкость предмета остаются для нее неразличимыми. Тем не менее, созданный ими метод способен заложить основу для более гладкой интеграции роботов в производственный процесс, в особенности, в ситуации нехватки визуальных данных.
Тактильный сенсор, точно измеряющий текстуру разных поверхностей, разработали в Южной Корее. Этот материал вырабатывает электрическую энергию в ответ на приложенное напряжение. Он напоминает кожу человека и распознает сигналы прикосновения и скольжения.
