GazeTrak задействует один динамик и четыре микрофона, расположенные внутри каждой оправы линз на очках (всего два динамика и восемь микрофонов). Динамики излучают импульсные неслышимые звуковые волны, которые отражаются от глазного яблока и улавливаются микрофонами. Поскольку человеческие глазные яблоки не являются идеально круглыми сферами, эху требуется разное время, чтобы достичь каждого из микрофонов, в зависимости от того, в какую сторону обращен взгляд. Программное обеспечение на основе ИИ анализирует миллисекундные различия в отраженных сигналах, чтобы определить, куда смотрит пользователь. На технологию не влияют громкие фоновые шумы.

В нынешней экспериментальной форме GazeTrak не так точен, как традиционные носимые устройства для отслеживания глаз с камерой. При этом он потребляет всего на 5% больше энергии, чем подобные устройства. Если бы в системе GazeTrak использовалась батарея той же емкости, что и в существующих очках Tobii Pro Glasses 3, она работала бы 38,5 часов, а не 1,75 часа у Tobiis. Исследователи утверждают, что точность системы должна значительно повыситься по мере дальнейшего развития технологии.

EyeEcho тоже излучает звуковые волны и принимает их эхо, но делает это с помощью одного динамика и одного микрофона, расположенных рядом с каждым из двух шарниров очков (всего два динамика и два микрофона). В этом случае на количество времени между испусканием каждого импульса и обнаружением его эха влияют еле заметные движения кожи лица. Программное обеспечение искусственного интеллекта сопоставляет эти различия во времени с конкретными движениями кожи, которые, в свою очередь, соответствуют конкретным выражениям лица.

Всего после 4 минут обучения GazeTrak с точностью распознавала эмоции 12 испытуемых, даже когда они выполняли повседневные действия в разных условиях.

Ученые ранее разработали аналогичную систему чтения мимики под названием EarIO, в которой динамики и микрофоны интегрированы в наушники. Сообщается, что по сравнению с предыдущим решением EyeEcho обеспечивает более высокую производительность, используя меньше обучающих данных, а его точность остается стабильной в течение более длительного периода времени. Та же команда создала еще одну технологию сонара, считывающего лица, которую можно встроить в умные очки. EchoSpeech следит за губами пользователя, чтобы прочитать слова, которые человек произносит беззвучно.

«В этой области исследований или даже в коммерческих продуктах есть много систем на базе камер для отслеживания выражения лица или движений взгляда, таких как Vision Pro или Oculus. Но не все хотят, чтобы камеры на носимых устройствах постоянно фиксировали их и то, что вокруг», — сказал руководитель исследования Ке Ли.