Исследователи из Китайской академии наук разработали алгоритм RhythmNet, который оценивает пульс человека по его лицу. Как сообщает Venture Beat, в его основе лежит фотоплетизмография — оптический метод измерения объема крови в тканях кожи.

Во время сердечного сокращения кровь заполняет кровеносные сосуды кожи, в результате чего она интенсивнее поглощает свет. Эти изменения незаметны для человеческого взгляда, однако современные камеры и датчики могут их уловить.

Чтобы натренировать нейросеть видеть тончайшие изменения оттенка кожи лица и рассчитывать на их основе частоту сердечных сокращений, команда скормила ей около 3000 видеозаписей. Из них 2378 были сняты при нормальном освещении, а 752 — в ближнем инфракрасном диапазоне. Люди на видео стоят в разных позах и движутся, что осложняет анализ.

Получившаяся на выходе программа обнаруживает на видео лицо и выравнивает его пигментацию, чтобы исключить из анализа глаза и волосы. Затем она нарезает запись на отдельные кадры, которые обрабатывает с помощью системы машинного обучения, высчитывая среднее значение пульса.

Эксперименты показали, что RhythmNet достаточно точна. Для 71% образцов ошибка не превышает 5 ударов в минуту. Лучше всего алгоритм работает в диапазоне между 47 и 147 ударами в минуту.

В дальнейшем команда намерена увеличить точность системы, а также научить ее измерять частоту дыхания и артериальное давление — тоже по видео.

Над похожей технологией работает калифорнийский стартап Brainworks. Компания надеется внедрить программу в смартфон, чтобы она оценивала пульс пользователя каждый раз, когда он делает селфи или разблокирует устройство с помощью лица.