WatchHand использует встроенные динамик и микрофон умных часов для непрерывного отслеживания движения рук, что, по словам учёных, способно изменить привычные способы взаимодействия с устройствами. Технология не требует дополнительного оборудования, что делает её более практичной для повседневного использования по сравнению с существующими прототипами.

Принцип работы WatchHand основан на акустическом распознавании: динамик часов излучает неслышимые звуковые волны в диапазоне 18–21 кГц, которые отражаются от руки и возвращаются в микрофон, формируя эхо-профиль. Алгоритм машинного обучения, встроенный в часы, анализирует этот профиль и оценивает трехмерное положение 20 суставов пальцев.

По словам ученых, в будущем такие технологии могут позволить, например, отслеживать процесс набора текста исключительно с помощью умных часов.

Все данные об отслеживании хранятся локально на часах, что гарантирует конфиденциальность и исключает передачу информации третьим лицам, подчеркнули разработчики.

Технология была протестирована на 40 участниках в четырёх исследованиях — всего было собрано около 36 часов данных о жестах. WatchHand показал стабильную работу на разных моделях умных часов, как на правой, так и на левой руке, а также в условиях шума. Система надежно отслеживала движения пальцев и вращения запястья.

Ученые признают, что технология пока не идеальна: она совместима только с Android-часами и теряет точность при ходьбе. Тем не менее, WatchHand уже демонстрирует перспективы для практического применения и может стать шагом к более интуитивным интерфейсам управления.