ElevenLabs выпустила две модели Eleven Realtime для голосовых ИИ-агентов

ElevenLabs представила модели Eleven Realtime v1 Mini и v1 Max, принимающие голосовой ввод и формирующие аудиоответ в реальном времени. Mini ориентирована на недорогие разговорные приложения, а Max — на сложные инструкции и многошаговое использование внешних инструментов.

Компания ElevenLabs, разработчик технологий генерации и распознавания речи, выпустила две модели класса speech-to-speech для голосовых ИИ-агентов — Eleven Realtime v1 Mini и v1 Max. Они объединяют распознавание речи, управление очередностью реплик, языковую модель и синтез голоса в готовую разговорную систему.

Версия Mini оптимизирована по стоимости и задержке и предназначена для ассистентов, обучающих приложений и интерактивных персонажей. Max рассчитана на поддержку клиентов, сложные инструкции и сценарии, требующие последовательного вызова нескольких инструментов. Обе модели поддерживают более 90 языков.

По результатам независимого тестирования Artificial Analysis, приведённым ElevenLabs, v1 Max набрала 98,8% в тесте голосового рассуждения Big Bench Audio при среднем времени до начала аудиоответа 570 мс. Для v1 Mini эти показатели составили 75,9% и 620 мс соответственно.

Модели подключаются через платформу ElevenAgents или отдельный Realtime API на базе WebSocket. API совместим с протоколом OpenAI Realtime, поэтому существующие приложения могут использовать OpenAI SDK после смены адреса сервера и имени модели. Интеграциям на базе WebRTC потребуется переход на WebSocket; доступ к моделям разворачивается поэтапно.