Объемное видео создается с помощью множества синхронизированных камер, окружающих сцену. После съемки алгоритмы воссоздают пространство в трех измерениях, позволяя зрителю менять угол обзора уже после записи и буквально «перемещаться» внутри сцены. Такая технология может использоваться в кино, трансляциях спортивных событий или концертов и VR-средах.

Главной проблемой такого видео остается огромный объем данных. Так, 30-минутный ролик может занимать терабайты памяти, а используемые форматы не подходят для существующих стриминговых сервисов, компьютеров и видеоплатформ.

Для решения этой проблемы исследователи разработали систему PackUV, основанную на технологии 3D Gaussian Splatting — методе рендеринга, в котором сцена представляется набором «гауссовых пятен», кодирующих форму, цвет и прозрачность объектов в пространстве. Новый подход позволяет преобразовывать сложную 3D-сцену в компактное 2D-представление — подобно проекции глобуса на плоскую карту.

В результате объемная сцена кодируется в обычный видеопоток, который можно хранить и передавать с помощью стандартных кодеков, используемых Netflix, YouTube и другими платформами. Исследователи утверждают, что это приближает технологию к практическому применению на обычных компьютерах и смарт-телевизорах.

Ещё одной задачей стала обработка длинных видеосцен. Существующие методы часто теряют объекты, если те временно исчезают из поля зрения, например, когда человек закрывает собой движущийся мяч. Команда решила проблему следующим образом: длинное видео разбивается на небольшие фрагменты, и в начале каждого сегмента анализ изменений проводится заново. Это позволяет корректно отслеживать новые объекты и сложные движения даже в продолжительных сценах. Новый подход обеспечивает рендеринг сложных сцен длительностью до 30 минут без сбоев — дольше, чем при использовании аналогичных методов.

Для тестирования технологии ученые собрали один из крупнейших наборов многоракурсного видео, снятого с помощью массива из 50–90 камер. В базе присутствуют сцены с баскетболом, пиклболом, приготовлением еды и работой по дереву. Исследователи уже открыли набор данных для научного сообщества. По их мнению, технология может найти применение не только в развлечениях и спорте, но и в промышленности, например, для создания цифровых двойников.