Разработка системы для управления VR с помощью рук не является чем-то инновационным. Бета-версия VR-очков Oculus Quest поддерживала эту возможность еще год назад, а технология Leap Motion с аналогичным набором функций была представлена семь лет назад — в 2013 году.
Однако, FMKit — это не только система ввода текста, но и новый метод защиты данных. Технология будет запоминать почерк владельца и может быть использована как для разблокировки личной гарнитуры, так и для входа в другие сервисы в виртуальном пространстве. Разработчики делают ставку на бизнес-сегмент, где конфиденциальность ценится больше всего.
В список расширенных возможностей FMKit входит превращение английского и китайского рукописного текста в печатный, и регистрация действий каждого пальца на руке пользователя.
Инженеры также выбрали два наиболее подходящих устройства для точного распознавания — перчатка с акселерометром и вышеупомянутый контроллер Leap Motion, использующий инфракрасные датчики. Точность распознавания пользователей с перчаткой составила 96%, а с Leap Motion — 93%. А шанс точной идентификации рукописного текста выше у Leap Motion — 87,4%.
Команда Университета разместила исходный код FMKit на GitHub, включая библиотеку и наборы данных, чтобы другие энтузиасты могли присоединиться к разработке.