NVIDIA выпустила Nemotron 3.5 Transcribe для расшифровки и перевода речи

Офлайн-модель с открытыми весами выполняет транскрибацию, перевод и разметку реплик по говорящим по текстовой инструкции. Она поддерживает 40 языков, включая русский, и обрабатывает записи продолжительностью до часа.

NVIDIA выпустила Nemotron 3.5 Transcribe — офлайн-модель распознавания речи с открытыми весами. Один чекпойнт выполняет дословную или нормализованную транскрибацию, перевод, определение языка, разметку реплик по говорящим и формирование временных меток для слов. Задача и формат результата задаются текстовой инструкцией.

Модель рассчитана на записи продолжительностью до часа и поддерживает транскрибацию на 40 языках. Для русского заявлены распознавание речи, перевод в обе стороны с английским, обработка записей с несколькими говорящими и переключением языков. Модуль диаризации различает до восьми участников разговора, но не устанавливает их личности.

Nemotron 3.5 Transcribe содержит 34 млрд параметров, из которых при обработке активны около 4,3 млрд. NVIDIA опубликовала варианты в форматах BF16, FP8 и NVFP4; эталонная конфигурация BF16 запускается на одном ускорителе H100 с 80 Гбайт памяти. Согласно техническому отчёту NVIDIA, модель показала среднюю долю ошибочно распознанных слов 4,71% на английском и 4,62% в многоязычном тесте Open ASR Leaderboard — лучшие результаты среди моделей с открытыми весами на момент измерения.

Вместе с моделью опубликован набор данных Granary-v2 с разметкой для 463 тыс. часов речи на 48 языках. Репозиторий содержит манифесты, транскрипции, переводы и пары инструкций, но исходные аудиозаписи необходимо получать у их правообладателей. Код и инструменты для дообучения доступны в проекте NeMo Speech; веса модели распространяются по лицензии OpenMDW 1.1.