Метод, созданный в Университете Вашингтона, анимирует любую текучий объект, в частности воду, облака или дым. В итоге получается короткое видео, закольцованное без швов и создающее впечатление бесконечного движения. Ученые представят свое изобретение на международной Конференции по компьютерному зрению и распознаванию паттернов 22 июня в Сиэтле, пишет Science Daily.

Особенность этого метода в том, что он не требует никаких дополнительных данных или действий со стороны пользователя, пояснили разработчики. Все, что нужно — это изображение. При этом конечный результат имеет высокое разрешение, так что картинка получается фотореалистичной.

Такая система требует прогнозирования будущего. Это происходит в два этапа: сначала она предсказывает, как могли бы двигаться объекты на фотографии, а затем использует эту информацию для создания анимации. Для анализа движения разработчики обучили нейронную сеть на тысячах видео с водопадами, реками, океанами и прочими текучими субстанциями.

Движение потока на фотографии они обеспечили за счет метода «сплаттинга» (splatting), который перемещает каждый пиксель согласно прогнозу. Однако здесь возникли проблемы: когда все пиксели сдвинулись вниз, например, в случае водопада, ничего не осталось наверху. Поэтому исследователи разработали метод «симметрического сплаттинга», который предсказывает движение и вперед, и назад во времени.

Лучше всего метод работает с предсказуемыми текучими объектами — водой, дымом или огнем. Теми типами движения, которые подчиняются одинаковым физическим законам. В дальнейшем разработчики собираются распространить свой метод на другие объекты — например, анимировать волосы, которые колышет ветер.

В конце 2020 разработчики из Nvidia AI представили нейросеть для генерации «говорящих голов» для видеоконференций на основе единственной фотографии. Трехмерный объект реагирует на широкий спектр манипуляций — может поворачиваться в разные стороны, менять направление взгляда.