Команда Яндекса объявила о запуске очень удобной функции для пользователей — возможность смотреть англоязычные ролики на многих популярных платформах, включая YouTube и Vimeo, с автоматической русскоязычной озвучкой.
Летом в Яндексе начали тестировать технологию машинного перевода видео и предложили пользователям для демонстрации специальный плейлист. Сегодня же новая функция открыта для массового использования. Как обещают разработчики, теперь пользователи смогут посмотреть с русской озвучкой практически любой англоязычный ролик.
Русский закадровый перевод предлагается в двух вариантах — с мужским и женским голосом. Перевод работает в Яндекс.Браузере для компьютеров (Windows, macOS, Linux) и Android, а также в приложении Яндекс для Android и iOS. Чтобы посмотреть видео с русской озвучкой, нужно нажать на кнопку в плеере и немного подождать. Процесс перевода занимает несколько минут. Когда всё будет готово, придёт уведомление.
Перевод происходит в несколько этапов. Сначала Яндекс распознаёт речь, превращает её в текст и с помощью нейронных сетей разбивает на предложения. Потом определяет пол говорящего, переводит предложения на русский язык и синтезирует голос. Затем перевод совмещается с видеорядом с помощью нейросетей. Как отмечают разработчики, это совсем не тривиальная задача, потому что в русском языке предложения длиннее, чем в английском.