Кстати, 240 к/с не предел, обученный алгоритм способен увеличить этот показатель и до 480 к/с и до больших значений. В компании рассказывают, что при съемке с низкой частотой кадров слоу-мо не получается плавным, потому что между съемкой двух соседних кадров проходит слишком много времени. От этого при просмотре такого ролика изображение неприятно дергается. Ученые логично предположили заполнить этот большой промежуток времени между кадрами искусственно созданными изображениями, которые плавно превратят один кадр в другой. Для этого они обучили нейросеть.
Видео замедляются во много раз без потери качества. Для этого специалистам компании пришлось обучать нейронную сверточную сеть на 11 000 видеозаписях, сделанных камерами с высокой частотой кадров. На их основе алгоритм научился предсказывать, каких именно кадров не хватает, чтобы замедленное видео стало по-настоящему плавным. Для эксперимента разработчики использовали Nvidia Tesla V100 GPU и фреймворк для глубокого обучения PyTorch.
Пока это лишь исследование в лаборатории Nvidia, но в теории такой подход сможет сделать аппаратную часть современных камер не такой важной. Видео снятое даже при низкой частоте может быть замедленно с помощью ПО. При этом оно еще раз доказывает мощь нейронных сетей по изменению видеоконтента. Фактически программа создает те кадры, которых никогда не было. И это очень близко к тому, чему научили ученые генеративные нейронные сети. С их помощью программисты могут заменять лица людей на чужие, заставлять снятых на видео людей говорить то, что они не говорили.
Скептики уже начали рисовать будущее, целиком состоящее из фальшивых видео, созданных алгоритмами. В мире фейков перестанут принимать видео в качестве доказательств в суде, а в мире разгорится кризис, вызванный фальшивками. Но нейронные сети работают не только на стороне зла: для борьбы с одними алгоритмами быстро нашлись другие. В Университете штата Нью-Йорк создали ПО, которое разоблачает подобные фейки. В частности оно справляется с определением замены лиц. Так что мир технологий сам себя балансирует.
