В свежей сборке Яндекс Браузера перевод видео стал многоголосым.
Напомню, что ранее Яндекс Браузер использовал два синтезированных голоса для перевода речи: мужской и женский. Однако ролики с тремя и более спикерами было неудобно смотреть в двухголосой озвучке. Поэтому разработчики браузера добавили ещё десять новых голосов. Теперь видео в Яндекс Браузере озвучивают шесть мужских и шесть женских голосов.
Наша команда продолжает работать над качеством перевода видео и озвучки, чтобы открыть для пользователей полезный контент со всего мира. В новой версии Яндекс Браузера слушать перевод станет ещё комфортнее, чем раньше, благодаря новым голосам.
Разработчики также рассказали, как Яндекс Браузер присваивает и запоминает голоса разных спикеров.
Сначала одна нейросеть переводит речь в текст, восстанавливает пунктуацию и определяет границы предложений. Затем уже другая нейросеть анализирует спектрограмму голоса и отмечает фрагменты, сказанные разными людьми. Так и становится ясно, кто из спикеров что произнес.
Напоследок, пользователям пообещали в ближайшем будущем добавить поддержку перевода видео с китайского языка.