Ученые объединили обнаружение деформации лицевых мышц и вибрации голосовых связок для распознавания эмоций в режиме реального времени. В основе лежит персонализированный лицевой интерфейс, который мониторит трение кожи и вибрацию для оценки человеческих эмоций и генерации собственной энергии. Это позволяет одновременно воспринимать и анализировать данные вербальной и невербальной экспрессии. Все данные передаются беспроводным путем.

Носимое устройство состоит из набора тонких, прозрачных, гибких датчиков, которые прикрепляются к лицу с левой и правой стороны. Есть индикаторы на лбу, у глаз, у носа, рядом с губами и на подбородке. Команда утверждает, что их можно изготовить индивидуально. После установки датчики подключаются к ИИ-системе, которая обучена распознавать человеческие эмоции на основе изменений в напряжении лица и вибрации голоса.

Технология основана на явлении «зарядки трением», когда при трении объекты разделяются на положительные и отрицательные заряды, генерируя энергию. Это обеспечивает систему собственным источником питания, что позволяет ей работать без необходимости внешних источников энергии или сложных измерительных устройств.

Команда провела эксперименты по распознаванию эмоций, собирая мультимодальные данные, такие как деформация лицевых мышц и голос. Технология точно распознавала эмоции при минимальном обучении. Ученые также внедрили разработку в среду виртуальной реальности, чтобы предоставить пользователю рекомендации по книгам, музыке и фильмам, основываясь на его эмоциональном состоянии. В будущем усовершенствованные VR-гарнитуры с такой технологией могут применяться шире.

Распознавание эмоций открывает много новых возможностей. Например, медицинские роботы-компаньоны получат эмоциональный интеллект и смогут эффективнее взаимодействовать с пациентами, учитывая их психологическое состояние. А для детей такие роботы станут собеседниками для обсуждения сложных тем.