23 октября Block (компания Джека Дорси) показала Dessa — разговорную голосовую модель с необычным подходом к обучению.
Чем отличается
- Только речь. По словам Block, модель обучена с нуля на записях человеческих разговоров — без текстовых данных и без предобученных моделей. Аудио на входе, аудио на выходе, без промежуточной транскрипции.
- Full-duplex. Dessa слушает и говорит одновременно: может перебивать, реагировать на паузы и менять интонацию — как в живом разговоре, а не по очереди, как классические голосовые ассистенты.
- Компактность. Обучена на одной системе NVIDIA GB200 NVL72 и работает быстрее реального времени локально на MacBook Pro с M4 Max или мощнее, без облака.
- Block утверждает, что модель выучила язык на «в сотни раз меньшем» числе слов, чем текстовые LLM, но детального сравнения не приводит.
Статус и оговорки
Это research preview: опубликованы отобранные демо-записи, ранний доступ получат несколько исследователей AI-безопасности. Число параметров, объём обучающих данных, бенчмарки и планы по весам не раскрыты, независимой оценки нет. В демо видны и странности — модель путает собеседника или резко меняет тему. Руководитель проекта Рагаван Турайратнам сравнил момент с «GPT-3 для голоса».
Почему интересно
Почти все голосовые ассистенты сегодня — это LLM, обёрнутая в распознавание и синтез речи, и они теряют интонацию и эмоции. Dessa проверяет, можно ли получить естественный диалог, вообще минуя текст, — и сделать это на одной стойке и локальном ноутбуке.
On Oct 23 Block (Jack Dorsey’s company) showed Dessa, a conversational voice model with an unusual training approach.
What sets it apart
- Speech only. Block says the model was trained from scratch on recordings of human conversation — no text data and no pretrained models. Audio in, audio out, no intermediate transcription.
- Full-duplex. Dessa listens and talks at the same time: it can interrupt, react to pauses and shift tone — like a live conversation rather than the turn-taking of classic voice assistants.
- Compact. It was trained on a single NVIDIA GB200 NVL72 system and runs faster than real time locally on a MacBook Pro with M4 Max or better, without the cloud.
- Block claims it learned language from “hundreds of times fewer” words than text LLMs, but gives no detailed comparison.
Status and caveats
It is a research preview: Block published curated demo recordings, and a few AI safety researchers will get early access. Parameter count, training data volume, benchmarks and weight plans are undisclosed, and there is no independent evaluation. The demos show quirks too — the model misidentifies a speaker or abruptly changes topic. Project lead Ragavan Thurairatnam compared the moment to a “GPT-3 moment for voice.”
Why it is interesting
Almost every voice assistant today is an LLM wrapped in speech recognition and synthesis, losing tone and emotion along the way. Dessa tests whether natural dialogue is possible by skipping text altogether — on a single rack and a local laptop.