Hitech logo

Тренды

Нейросеть «Яндекса» научилась генерировать короткие видео в «Шедевруме»

TODO:
Дарина Житова29 августа 2023 г., 12:40

Яндекс предложил пользователям функцию создания видео с применением искусственных нейронных сетей. Эта опция доступна в приложении Шедеврум, которое в реальном времени создает короткометражные видеофрагменты на основе запросов пользователей. Эти мини-видео могут быть использованы как основа для различных творческих проектов, включая музыкальные клипы, анимацию и даже динамичные аватары в социальных медиа.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Шедеврум производит видео длительностью в 4 секунды и со скоростью 24 кадра в секунду. После публикации эти видео можно распространять в социальных сетях или сохранять в формате MP4. В настоящее время эта функциональность находится на этапе бета-тестирования и доступна только для активных пользователей приложения. Однако, все могут просмотреть результаты в новостной ленте приложения.

Для создания видео в Шедевруме необходимо в текстовой форме описать желаемый сценарий. Приложение предоставляет четыре опции начального кадра и разнообразные анимационные эффекты для создания движения. Искусственная нейронная сеть использует выбранное изображение как отправную точку, создает его альтернативные версии и синтезирует их с выбранным эффектом. В наличии семь эффектов: зум, таймлапс, полет, панорама, вращение, подъем и морфинг.

Для генерации будущих кадров видео Шедеврум применяет метод каскадной диффузии. Эта технология позволяет создавать индивидуальные изображения, начиная с низкого разрешения и постепенно увеличивая его, добавляя детали.

Эта функция создания видео дополняет другие возможности Шедеврума, такие как создание изображений и текстовых постов. Пользователи могут подать заявку на коммерческое использование контента через форму обратной связи, и ответ будет предоставлен в течение пяти рабочих дней. Нейронная сеть приложения состоит из 5 миллиардов параметров и была обучена на 330 миллионах примеров изображений с текстовыми описаниями.