Система Google Translatotron позволяет переводить речь голосом говорящего

Говорить на другом языке становится легче благодаря новой разработке Google. Компания продемонстрировала Translatotron – первую в своём роде систему перевода, которая может напрямую преобразовывать речь с одного языка на другой, сохраняя при этом голос и темп речи говорящего. Данный инструмент не использует обычный способ перевода, когда сначала речь трансформируется в текст, а затем обратно в речь, что часто может приводить к ошибкам. Вместо этого сквозная техника напрямую переводит голос говорящего на другой язык. Компания надеется, что эта разработка откроет возможности более широкого использования модели прямого перевода.

По данным Google, Translatotron использует сетевую модель «последовательность-последовательность», которая принимает голосовой ввод, обрабатывает его как спектрограмму — визуальное представление частот — и генерирует новую спектрограмму на целевом языке. В результате получается гораздо более быстрый перевод с меньшей вероятностью возникновения ошибок и потерь.

Система также работает с дополнительным компонентом кодировщика динамика для сохранения голоса говорящего. Переведенная речь все еще синтезируется и звучит немного роботизированно, но может эффективно передавать некоторые особенности голоса говорящего. Ознакомиться с образцами передачи голоса системой Translatotron можно на странице Google Research в GitHub.

Источник: Engadget

Источник