Виртуальные клавиатуры часто вызывают дискомфорт у пользователей. При наборе текста «в воздухе» человеку приходится постоянно концентрироваться, при этом руки быстро устают. PropType решает эту проблему, возвращая ввод в физический мир. По словам доктора Джина Рёна Кима, доцента кафедры компьютерных наук, PropType «переосмысливает ввод текста в дополненной реальности, обеспечивая естественную и бесшовную связь между физическим и виртуальным мирами».

Для разработки PropType команда изучила, как 16 человек держат различные предметы, фиксируя силу хвата, положение рук и движение пальцев. На основе этих данных исследователи создали индивидуальные раскладки клавиатуры, которые естественно ложатся на форму объектов.

Система поддерживает работу на изогнутых и неровных поверхностях, включая бутылки с водой, банки с газировкой, кофейные чашки и толстые книги. Пользователи могут создавать собственные раскладки клавиш с помощью инструмента редактирования, изменяя размер, интервалы и визуальные эффекты.

Технология может адаптироваться к разным предметам, точно распознавать нажатия и снижать зависимость от визуальных подсказок. Ким отметил, что PropType представляет собой более интуитивную и доступную альтернативу традиционным клавиатурам, которая особенно полезна, например, при работе в движении.

Разработка PropType — часть исследований лаборатории Кима в области тактильных ощущений, которые изучают прикосновения, вибрацию и тепловые сигналы в цифровых системах. Эти разработки позволяют создавать более правдоподобные ощущения в VR и AR, включая медицинское моделирование. «Прикосновение переносит большой объем информации. Это еще одна форма коммуникации, недостаточно изученная в виртуальной и дополненной реальности», — говорит ученый.