Гуманоидные роботы, как правило, не способны воспроизводить сложную и реалистичную мимику, присущую человеку, что затрудняет естественное взаимодействие с пользователем. Для решения этой проблемы ученые Университета Хохай разработали двухэтапный подход, направленный на то, чтобы автономный робот демонстрировал разнообразные и естественные выражения лица.

Человекоподобные роботы ограничены в количестве и размерах приводов, из-за чего сложно добиться реалистичной мимики. В конструкции лица предыдущего робота ученых использовалось всего девять микромоторов, что сильно меньше количества мышц человеческого лица. Для компенсации этого ограничения команда разделила девять двигателей на 17 единиц действия мышц лица (АU). Это позволило добиться более богатой палитры выражений и плавных переходов между ними за счет синхронизации движений.

На первом этапе создается цифровая модель выражений лица робота, основанная на единицах действия мышц лица. Затем разрабатывается физический прототип, способный воспроизводить синтезированные выражения с высокой степенью детализации.

Исследователи также разработали специализированную нейросеть для преобразования изображений выражений лица в команды для управления моторами робота. Используя единицы действия мышц лица во время слабо контролируемого обучения, исследователи решили проблему дефицита парных обучающих данных, то есть состоящих из исходных и целевых изображений лица. Для точного воспроизведения мимики и уменьшения помех сигналы, связанные с выражением лица, отделяются от остальных.

Оценка на стандартном наборе данных Emotionet подтвердила эффективность метода генерации выражений лица. Разработанный учеными робот демонстрировал различные мимические движения. По мнению команды, это улучшит эмоциональное взаимодействие человека и гуманоидных роботов.