Block показала голосовую модель Dessa, обученную без текста

Исследовательская группа финтех-компании Block представила полнодуплексную модель Dessa, которая училась непосредственно на записях человеческих разговоров. Она способна одновременно слушать и говорить, воспроизводить эмоциональные оттенки речи и работать локально на MacBook Pro с процессором M4 Max.

Исследовательская группа компании Block представила голосовую ИИ-модель Dessa, обученную с нуля исключительно на человеческой речи — без текстовых данных и предварительно обученных моделей.

Dessa работает по схеме speech-to-speech и в полнодуплексном режиме: она может одновременно слушать собеседника и отвечать ему, выбирая моменты для реплик и коротких реакций. По утверждению разработчиков, модель воспринимает и воспроизводит интонации, паузы, смех, сарказм и другие эмоциональные особенности речи, которые обычно теряются при промежуточном преобразовании звука в текст.

Для обучения использовалась одна система NVIDIA GB200 NVL72. Инференс выполняется быстрее реального времени, а запуск модели возможен локально на MacBook Pro с M4 Max или более производительном компьютере.

Общедоступного выпуска пока нет. Block намерена предоставить ранний доступ небольшой группе специалистов по безопасности ИИ, чтобы выявить возможные риски новой технологии.