DeepL представила модель Aure для перевода речи с сохранением интонации и темпа

Новая модель DeepL Voice непрерывно анализирует исходную речь и передает в переводе изменения тона, эмоций, ударений и скорости произношения. Aure уже доступна в сервисах и API компании для восьми языков.

Разработчик систем машинного перевода DeepL представил голосовую модель Aure для перевода речи в реальном времени. По заявлению компании, она сохраняет не только голос говорящего, но и изменения интонации, эмоциональной окраски, ударений и темпа — в том числе особенности подачи, способные передавать сарказм.

Предыдущая технология DeepL Voice формировала перевод на основе короткого образца голоса в начале разговора, поэтому не могла адаптироваться к последующим изменениям манеры речи. Aure непрерывно обрабатывает исходное аудио вместе с переведенным текстом. При обучении модели характеристики голоса, просодия и содержание речи разделяются, чтобы переносить их в другой язык независимо друг от друга.

Aure автоматически используется в DeepL Voice for Online Meetings, DeepL Voice for In-Person Conversations и DeepL API for Voice. На старте модель поддерживает английский, немецкий, испанский, французский, итальянский, японский, португальский и корейский языки; русский язык в этот список не входит. Для остальных языков DeepL продолжит применять прежние голосовые модели.

Компания также сообщает, что Aure адаптируется к голосу непосредственно во время сеанса и не создает постоянный голосовой профиль пользователя.