← Все новости

AI ·

Mistral представила Voxtral 3: модели распознавания и синтеза речи и SDK для голосовых агентовMistral launches Voxtral 3: speech recognition and synthesis models plus a voice-agent SDK

В семейство вошли три модели транскрибации, синтез речи с клонированием голоса и SDK на базе LiveKit для голосовых агентов. Транскрибация стоит от $0,0035 за минуту, всё доступно в публичном превью через API Mistral.The family includes three transcription models, text-to-speech with voice cloning and a LiveKit-based SDK for voice agents. Transcription starts at $0.0035 per minute, and everything is in public preview on Mistral's API.

Mistral выпустила Voxtral 3 — набор моделей и инструментов для голосовых интерфейсов. Модели находятся в статусе публичного превью, в документации они датированы 20 октября.

Модели

  • Voxtral Small Transcribe 3 — самая точная транскрибация, с диаризацией (кто говорит) и подсказками по контексту. $0,004 за минуту.
  • Voxtral Mini Transcribe 3 — пакетная транскрибация, модель на 4 млрд параметров. $0,0035 за минуту.
  • Voxtral Mini Transcribe Realtime 3 — потоковое распознавание с задержкой менее 500 мс и определением конца реплики. $0,008 за минуту.
  • Voxtral Mini TTS 3 — синтез речи в пакетном и потоковом режимах, клонирование голоса без дообучения, теги для эмоций и темпа. $13 за миллион символов.

Транскрибация поддерживает более 50 языков, включая все 24 официальных языка ЕС; заявленная поддержка языков у потоковых моделей и TTS в материалах Mistral расходится.

SDK для агентов

Отдельно вышел SDK для голосовых агентов на базе LiveKit: распознавание, рассуждение с вызовом инструментов и синтез идут единым потоком, без ожидания предыдущего этапа. Поддерживаются SIP для телефонии и WebRTC, модели на каждом этапе можно заменить. Голосовой агент через API стоит $0,04 за минуту с Mistral Small 4 или $0,08 с более крупной моделью; Mistral обещает ответ за ход менее секунды.

Где взять

API Mistral с европейскими, американскими и глобальными эндпоинтами, плюс плейграунды в Studio. Есть опция развёртывания на своей инфраструктуре по запросу, но про открытые веса и лицензию Mistral ничего не сообщает. Бенчмарки — собственные замеры компании.

Mistral released Voxtral 3, a set of models and tools for voice interfaces. The models are in public preview, and the documentation dates them Oct 20.

Models

  • Voxtral Small Transcribe 3 — the most accurate transcription, with diarization and context biasing. $0.004 per minute.
  • Voxtral Mini Transcribe 3 — batch transcription, a 4B-parameter model. $0.0035 per minute.
  • Voxtral Mini Transcribe Realtime 3 — streaming recognition with sub-500 ms latency and end-of-turn detection. $0.008 per minute.
  • Voxtral Mini TTS 3 — speech synthesis in batch and realtime modes, zero-shot voice cloning, and tags for emotion and pace. $13 per million characters.

Transcription covers more than 50 languages, including all 24 official EU languages; Mistral’s materials give inconsistent language counts for the realtime and TTS models.

Agent SDK

Mistral also shipped a voice-agent SDK built on LiveKit: recognition, reasoning with tool calls and synthesis run as one stream, with no stage waiting for the previous one. It supports SIP for telephony and WebRTC, and each stage’s model is swappable. A voice agent via the API costs $0.04 per minute with Mistral Small 4 or $0.08 with a larger model; Mistral promises sub-second turns.

Where to get it

Mistral’s API with EU, US and global endpoints, plus Studio playgrounds. Self-deployment is available on request, but Mistral says nothing about open weights or licensing. Benchmarks are the company’s own.

Источники