«Идея состоит в том, чтобы по-настоящему подключиться к процессу постпродакшна владельцев контента и позаботиться обо всех потребностях в локализации. Качество перевода и уровень владения языком сейчас важнее, чем когда-либо прежде», — заявил директор по маркетингу Deepdub Оз Краковски.

Алгоритмы Deepdub самостоятельно считывают речь и голос по предоставленным видеороликам или аудиозаписям. Нейронные сети отделяют и изолируют голоса от фоновых шумов и музыки, а затем создают новую звуковую дорожку для перевода. ИИ обращает внимание не только на звук, но и на изображение — Deepdub сопоставляет речь с движениями губ и соответствующим образом генерирует новые предложения. При этом стартап не отрицает недостатки актуальной версии ИИ — на данный момент алгоритмы плохо воспринимают идиомы и фразеологизмы. По этой причине, время от времени, разработчики вмешиваются в процесс и пользуются услугами профессиональных переводчиков. Просчеты платформы сохраняются и пополняют базу данных Deepdub, чтобы стартап мог избежать ошибок в будущем.

Deepdub дублирует голоса на стадии пост-продакшена и одновременно работает с шестью языками. В ближайшее время стартап планирует расширить поддержку до 12 языков. Точная скорость перевода алгоритмами стартапа неизвестна, но, она радикально ускоряет обычные сроки дубляжа полнометражного фильма на все поддерживаемые языки, которая сегодня в среднем занимает у пост-продакшен компаний два месяца.

«Мы предоставляем индустрии развлечений возможность легко локализовать контент на несколько языков одним нажатием кнопки», — сказал Краковски.

На днях Deepdub вышел из скрытого режима и привлек посевной раунд финансирования, но не стал раскрывать сумму инвестиций, сообщает VentureBeat. Сейчас стартап занимается фильмами и сериалами, а также работает с рядом крупных развлекательных компаний, включая стриминговые сервисы. А в следующем году Deepdub начнет работать с разработчиками компьютерных игр и рекламными агентствами.

Важно отметить, что Deepdub не единственный молодой стартап, который решил использовать ИИ в качестве профессионального актера дубляжа. Аналогичные системы разрабатывают американские стартапы Papercup и Resemble AI. Обе компании используют машинное обучение для перевода речи и уже заключили соглашения с несколькими крупными поставщиками видеоконтента.