Mistral выпустила Voxtral 3 и SDK для голосовых агентов
Минута расшифровки младшей моделью стоит $0,0035, а голосовой агент на базе Mistral Small 4 обходится в $0,04 за минуту разговора.
Иллюстрация: Mistral AI
Французская Mistral AI представила Voxtral 3, новое семейство моделей для распознавания и синтеза речи, а вместе с ним набор инструментов для голосовых агентов. Распознавание работает с 50 языками, синтез — с более чем 35. Модели уже доступны через API компании, а русский язык входит в число поддерживаемых.
Голосовой агент в Voxtral 3 собирается из трёх отдельных моделей. Voxtral Mini Transcribe Realtime 3 слушает собеседника, языковая модель Mistral Small 4 думает и вызывает нужные инструменты, а Voxtral Speech 3 отвечает голосом. SDK построен на открытой платформе LiveKit, поэтому языковую модель, голос или язык можно заменить, не переписывая агента.
По данным Mistral, каждая реплика агента укладывается меньше чем в секунду. Если человек перебивает, агент замолкает. Потоковое распознавание выдаёт текст с задержкой менее 500 мс.
Что умеют модели
Для расшифровки записей есть две модели. Voxtral Small Transcribe 3 — самая точная, Voxtral Mini Transcribe 3 компактнее и содержит 4 млрд параметров. Обе различают, кто из собеседников говорит, и понимают подсказки со специальными терминами без дообучения. Mistral утверждает, что старшая модель точнее Whisper от OpenAI, Scribe v2 от ElevenLabs и Gemini 3.5 Transcribe от Google. Это результаты собственных тестов компании.
Модель синтеза Voxtral Speech 3 позволяет задавать эмоцию, темп и логические ударения. Голос можно клонировать по записи, а для профессиональной версии хватит около 30 минут аудио. Готовые голоса есть для 18 языков, в том числе для русского. Казахского в списках Mistral нет.
Сколько это стоит
- Voxtral Mini Transcribe 3 — $0,0035 за минуту аудио;
- Voxtral Small Transcribe 3 — $0,004 за минуту;
- потоковое распознавание — $0,008 за минуту;
- синтез речи — $13 за миллион символов;
- голосовой агент — $0,04 за минуту с Mistral Small 4 и $0,08 с любой другой языковой моделью.
Mistral заявляет, что синтез у неё дешевле сопоставимых моделей OpenAI, Deepgram, ElevenLabs и Google. Компания делает ставку на «суверенное» развёртывание: API работает через европейские, американские и глобальные серверы, а весь комплекс можно поставить в собственный дата-центр по договорённости с Mistral.
Попробовать модели можно в веб-студии Mistral, ограничений по странам компания не указывает. Об открытых весах Voxtral 3 в анонсе не сказано. Подробнее о компании — в досье Mistral AI.
Источники: Mistral AI — анонс Voxtral 3
