Mistral AI выпустила Voxtral 3 — стек для голосовых агентов реального времени

Voxtral 3 объединяет распознавание и синтез речи, языковую модель и вызов внешних инструментов в потоковом режиме. Систему можно использовать через API Mistral AI или развернуть в собственной инфраструктуре.

Французская компания Mistral AI представила Voxtral 3 — семейство речевых моделей и SDK для создания голосовых агентов, способных вести диалог и выполнять действия во внешних системах в реальном времени.

В стек входят модели распознавания речи Voxtral Transcribe 3, модель синтеза Voxtral Mini TTS 3 и построенный на LiveKit SDK. Потоковая архитектура связывает распознавание, рассуждение с помощью языковой модели, вызов функций и генерацию ответа. Агенты могут, например, проверять счета или записывать клиентов на приём, подключаясь к корпоративным сервисам.

Распознавание поддерживает более 50 языков, разделение реплик говорящих и словари с предметной терминологией. Синтез речи работает более чем с 35 языками и 50 диалектами, позволяя управлять эмоциональной окраской, темпом и акцентами.

Voxtral 3 доступен через облачный API Mistral AI, включая европейские точки подключения, а полный стек можно развернуть локально или в частном облаке. Стоимость пакетного распознавания начинается с $0,0035 за минуту, потокового — с $0,008 за минуту.