Устройство C-Face, созданное в лаборатории SciFi Корнеллского университета, проще, удобнее и производительнее, чем любая из существующих носимых технологий для отслеживания мимики лица, утверждает директор лаборатории Чэн Чжан. Оно обходится без прикрепленных к лицу датчиков и распознают широкий спектр эмоций, сообщает Engadget.

На наушниках установлены RGB-камеры, расположенные под каждым ухом. Они записывают изменения в контурах щек, которые происходят, когда сокращаются мимические мышцы.

Затем изображения реконструирует система компьютерного зрения и модель глубокого обучения на базе сверточной нейросети анализирует полученные двухмерные картинки. Технология позволяет точно сопоставить 42 характерных положения рта, глаз и бровей пользователя с определенными гримасами, которые C-Face «переводит» в восемь эмодзи, включая нейтральное и сердитое выражение лица.

С помощью C-Face можно управлять музыкальным плеером, отслеживать реакцию студентов во время дистанционного обучения, сообщать о своем настроении, не включая веб-камеру, или управлять мимикой аватара в виртуальной реальности.

Специалисты Стэнфорда научились распознавать по голосу и выражению лица депрессию, состояние, которое трудно диагностировать. Исследователям удалось добиться точности более 80%.