EgoTouch переосмысливает традиционный подход к взаимодействию в виртуальной реальности, предлагая размещать тактильные интерфейсы непосредственно на виртуальном теле пользователя. Это позволяет повысить скорость, точность и удобство работы по сравнению с обычными «воздушными» интерфейсами, которые накладываются на изображение виртуального мира.

Проблема в том, что интерфейсы, размещаемые на теле, зависят от специальных камер глубины. Эти камеры необходимы для точного отслеживания положения как самой части тела, на которой отображается интерфейс в виртуальной реальности, так и пальца, взаимодействующего с этим интерфейсом.

В отличие от существующих систем, EgoTouch использует стандартную RGB-камеру, уже встроенную в VR-гарнитуру. При нажатии пальцем на реальную ладонь, камера фиксирует возникающие тени и деформации кожи. Анализируя эти визуальные изменения и сопоставляя их с виртуальным интерфейсом, технология определяет, какие элементы были выбраны пользователем в VR.

Чтобы обучить алгоритм, команда попросила группу добровольцев нажимать указательным пальцем на различные участки ладони, при этом на их голове была закреплена RGB-камера. На нижней стороне пальца каждого участника был закреплен сенсорный датчик касания, невидимый для камеры.

Сопоставляя данные с камеры и датчика, алгоритм научился связывать определенные визуальные образы с конкретными точками касания, силой нажатия и продолжительностью контакта. У участников варьировались цвет кожи и густота волос, а данные записывались при разных условиях освещения.

Во время тестирования точность EgoTouch в определении касаний на ладони составила 96%, а уровень ложных срабатываний — около 5%. Система могла с точностью 98% определять, является ли касание легким или сильным, и распознавать такие действия, как нажатие, отпускание и перетаскивание. Решение не требует калибровки и готово к работе сразу после включения.