Программное обеспечение фиксирует мельчайшие изменения в отражениях света от лица человека, которые коррелируют с изменениями кровотока. По заявлениям разработчиков, обычной камеры смартфона достаточно, чтобы идентифицировать по этому отражению пульс и частоту дыхания. При этом система сохраняет конфиденциальность — алгоритмы работают на локальном устройстве и не передают личные данные на облачную платформу.

Новая система была обучена с помощью набора данных, составленного из правильных и неправильных измерений. Сначала алгоритмы сканировали фотографии с явными показателями, затем перешли на более сложные изображения, а на последнем этапе тестировались на коротких видеороликах. В результате инженеры создали эффективный ИИ, который точно идентифицирует частоту сердечных сокращений и работу дыхательной системы.

Позднее ученые улучшили систему, научив ИИ учитывать индивидуальные особенности каждого человека, за которым ведется наблюдение. Новая модель определяет важные области, которые могут повлиять на измерения, включая особенности лица, освещение в комнате и окружающую среду. Новая версия алгоритма стала значительно точнее, но иногда ошибается при работе с темными оттенками кожи.

«Мы признаем, что по-прежнему существует тенденция ухудшения характеристик при более темном типе кожи. Отчасти это связано с тем, что свет по-разному отражается от более темной кожи, что приводит к более слабому сигналу на камере. Наша команда активно разрабатывает новые методы для устранения этого ограничения», — объяснил руководитель исследования Синь Лю.

Сейчас команда Microsoft Research и Вашингтонский университет изучают перспективы технологии с несколькими больницами США и рассматривают реальные сценарии применения системы в телемедицине. Ученые также обещают представить более подробные результаты испытаний в ходе мероприятия ACM Conference on Health, Inference, and Learning.