Два направленных вниз миниатюрных динамика установлены на нижней стороне оправы под одной из линз, а два мини-микрофона расположены под другой. Динамики излучают неслышимые звуковые волны, которые отражаются от движущегося рта пользователя и возвращаются к микрофонам.
Эти эхо-сигналы анализируются в режиме реального времени алгоритмом глубокого обучения на смартфоне, подключенном по беспроводной сети. Алгоритм обучили связывать эхо-сигналы с определенными движениями рта, которые, в свою очередь, связаны с теми или иными безмолвными командами.
EchoSpeech на данный момент способны распознавать 31 команду с точностью около 95%, при этом для каждого пользователя требуется всего несколько минут обучения. Что важно для конфиденциальности, система не включает в себя никаких камер и не отправляет какую-либо информацию в интернет.
Поскольку в очках не используется камера (в них стоят самые обычные линзы), устройство работает до 10 часов без подзарядки аккумулятора. Альтернативные системы с похожим функционалом, но на основе очков с камерами держатся всего около 30 минут на одном заряде.
Разработчики предлагают использовать очки для управления воспроизведением музыки без помощи рук и глаз в тихой библиотеке или для диктовки сообщения на громком концерте, когда из-за шума голосовые команды не распознаются. Люди с некоторыми типами нарушений речи могут использовать очки для передачи диалогов в голосовой синтезатор, который затем будет произносить слова вслух.
В той же лаборатории Корнельского университета ранее разработали похожую систему под названием EarIO, в которой используется ушное устройство, оснащенное сонаром, для захвата выражений лица владельца. Оно используется в основном для создания цифровых аватаров. Еще одна система EarCommand, созданная командой Университета в Буффало, читает слова, произносимые про себя. Специальный наушник считывает их через характерные деформации слухового прохода, вызванные определенными движениями рта.