Hitech logo

Идеи

ИИ Localize переводит речь на другой язык голосом оригинала

TODO:
Степан Икаев21 октября 2020 г., 10:20

Локализация — непростая задача для всех создателей контента. Она требует значительного времени и ресурсов. Компания Resemble AI утверждает, что создала инструмент Localize, построенные на искусственном интеллекте, который автоматически переводит речь на другие языки голосом оригинала. Localize может поддерживать согласованность голосов на разных языках в фильмах, играх, аудиокнигах, корпоративных видео и других форматах. Сохранение голоса оригинала в дубляже фильмов полностью изменит звуковое восприятие кино на иностранных языках.

00
Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Последствия применения Localize завораживают. Например, Джеймс Бонд заговорит во всех вариантах локализации не голосами актеров дубляжа, а голосом Дэниэла Крейга. А главный герой «Дюны» Тимоти Шаламе будет звучать на французском, немецком и итальянском также, как на родном английском.

«Если ИИ — это мозг робота, то RPA — его руки». Что умеют программные роботы

Как сообщает Engadget, идея разработчика заключается в создании согласованности для любых форматов — фильмов, игр, аудиокниг и видеороликов на популярных интернет-площадках. Каждый персонаж или ведущий будет разговаривать тем же голосом, что и оригинал, независимо от языка.

По словам гендиректора Resemble AI Зохаиба Ахмеда, обычно перевод голосовых данных занимает около двух месяцев и стоит сотни тысяч долларов. Искусственный интеллект значительно упрощает эту работу. Localize считывает выражения, интонации и тембр оригинала, а затем превращает исходный звук в речь, которая использует традиционные выражения и грамматические структуры другого языка. Подход стартапа, заявляют представители, сэкономит деньги и время продюсеров, которые вынуждены тратить месяцы на поиск подходящих актеров дубляжа.

«У нас множество клиентов из разных стран, которые очень заинтересованы в переводе речи на свой язык. Мы начали работать над разными голосами для разных языков, но нам мешали английские слова, которые появляются в других языках, например, Burger King в предложении на испанском. Burger King — это английский, вы же не хотите, чтобы он произносился с испанским акцентом. В этот момент мы поняли, что должны создать новую систему», — объясняет Ахмед.

Сейчас Localize поддерживает перевод между английским и шестью другими языками: французским, немецким, нидерландским, итальянским и испанским, а команда разработчиков уже работает над тремя новыми — японским, корейским и китайским. Представители стартапа отмечают, что появление новых языков на платформе также упростит и ускорит работу предыдущих моделей.

Resemble AI клонировал 42 тыс. голосов для 65 тыс. пользователей, включая крупнейшие мировые телекомпании, а клиентская база стартапа уже пересекла отметку в 150 компаний. Помимо индустрии кинопроизводства, разработки компьютерных игр и создания аудиокниг, Resemble AI целится в быстро развивающиеся платформы — YouTube и TikTok, блогеры которых за счет добавления мультиязычности смогут увеличить свою аудиторию в разы.