Ученые объясняют, что новый подход позволяет подменить анимацию на любом портретном видео. То есть вместо оригинальной мимики человека, записанной на видео, программисты могут подставить мимику и движения их актера. Выглядит это так:

При этом для работы требуется лишь оригинальное видео. С помощью генеративных нейронных сетей и актера — источника новой мимики — ученые могут очень реалистично изменить выражение лица на видео. Они говорят, что их метод отличается от всего того, что есть сегодня. Нынешние алгоритмы позволяют работать только с выражением лица. Теперь же команда ученых научилась одновременно отслеживать положение и движения головы, моргание глаз, наклон шеи, отдельные эмоции и движения лица.

Весь этот набор характеристик переносится на начальное видео с лица актера, чьи движения также фиксирует алгоритм. В результате происходит подмена эмоций и движений на чужие.

Создатели алгоритма загадочно заявляют, что ядром нового подхода являются генеративные нейронные сети с пространственно-временной архитектурой. На вход такие сети принимает синтетическую параметрическую модель лица актера. После результат одной сети попадает на вход другой. На основе параметров лица актера и целевого видео алгоритм фактически предсказывает, как будет выглядеть итоговое видео. За реалистичность отвечает подход соревновательного машинного обучения.

Исследователи указывают, что их подход дает большие возможности для перезаписи видео без явного моделирования фона, волос или тела. Например, это может пригодиться при дубляже, когда движения губ актера озвучания будут идеально совпадать с объектом на экране.

Однако, кажется, что на практике это в очередной раз увеличивает возможности для создания фейкового контента. Так, предыдущие успехи в разработке и обучении генеративно-состязательных сетей привели к появлению в сети целого поджанра порнографии, в котором нейросети заменяют оригинальных актеров известными личностями.

Ученые же тем временем обещают, что в будущем подделку будет все сложнее определить. Сейчас на фокус-группах пробуют различные подходы, пытаясь максимально эффективно замаскировать подмену. В перспективе это, например, может повлиять на суды — в мире будущего где любое видео можно подделать, видеодоказательсва перестанут иметь ценность.