К содержанию
Ақылды. Пайдалы. Кейде байыпсыз.
Mistral дауыстық агенттерге арналған Voxtral 3-ті шығарды
ЖИ

Mistral дауыстық агенттерге арналған Voxtral 3-ті шығарды

Кіші модельмен бір минут аудионы мәтінге айналдыру $0,0035 тұрады, ал Mistral Small 4 негізіндегі дауыстық агенттің бір минуттық сөйлесуі $0,04.

Иллюстрация: Mistral AI

Француздық Mistral AI сөйлеуді тануға және дауыс синтездеуге арналған Voxtral 3 модельдер тобын таныстырды. Онымен бірге дауыстық агенттер жасауға арналған құралдар жинағы да шықты. Тану 50 тілде, синтез 35-тен астам тілде жұмыс істейді. Модельдер компанияның API-і арқылы қолжетімді, қолдау көрсетілетін тілдердің арасында орыс тілі бар.

Voxtral 3-тегі дауыстық агент үш бөлек модельден құралады. Voxtral Mini Transcribe Realtime 3 әңгімелесушіні тыңдайды, Mistral Small 4 тіл моделі ойланып, қажетті құралдарды шақырады, ал Voxtral Speech 3 дауыспен жауап береді. SDK ашық LiveKit платформасына негізделген. Сондықтан тіл моделін, дауысты не тілді агентті қайта жазбай-ақ ауыстыруға болады.

Voxtral 3 дауыстық агентінің сызбасы: сөйлеуді тану, тіл моделі және дауыс синтезі
Сызба: Mistral AI

Mistral дерегінше, агенттің әр жауабы бір секундқа жетпейді. Адам сөзін бөлсе, агент үндемей қалады. Ағынды тану мәтінді 500 мс-тан аз кідіріспен береді.

Модельдер не істей алады

Жазбаларды мәтінге айналдыруға екі модель бар. Voxtral Small Transcribe 3 ең дәлі, ал Voxtral Mini Transcribe 3 ықшамдау, оның 4 млрд параметрі бар. Екеуі де әңгімелесушілердің қайсысы сөйлеп тұрғанын ажыратады. Арнайы терминдерді де қосымша оқытусыз, жай ғана нұсқау арқылы түсінеді. Mistral аға модель OpenAI-дың Whisper-інен, ElevenLabs-тың Scribe v2-сінен және Google-дың Gemini 3.5 Transcribe-ынан дәлірек дейді. Бұл компанияның өз сынақтарының нәтижесі.

Voxtral Speech 3 синтез моделінде эмоцияны, қарқынды және логикалық екпінді баптауға болады. Дауысты жазба арқылы көшіруге болады, кәсіби нұсқаға шамамен 30 минуттық аудио жеткілікті. Дайын дауыстар 18 тілде бар, соның ішінде орыс тілінде. Mistral тізімдерінде қазақ тілі жоқ.

Бағасы қанша

  • Voxtral Mini Transcribe 3 — аудионың бір минуты үшін $0,0035;
  • Voxtral Small Transcribe 3 — минутына $0,004;
  • ағынды тану — минутына $0,008;
  • дауыс синтезі — миллион таңбаға $13;
  • дауыстық агент — Mistral Small 4-пен минутына $0,04, басқа кез келген тіл моделімен $0,08.

Mistral өз синтезі OpenAI, Deepgram, ElevenLabs және Google-дың ұқсас модельдерінен арзан деп мәлімдейді. Компания «егемен» орналастыруға бәс тігіп отыр. API еуропалық, америкалық және жаһандық серверлер арқылы жұмыс істейді, ал бүкіл кешенді Mistral-мен келісіп, өз дата-орталығыңызға орнатуға болады.

Модельдерді Mistral-дың веб-студиясында сынап көруге болады, компания елдер бойынша шектеу көрсетпейді. Анонста Voxtral 3-тің ашық салмақтары туралы ештеңе айтылмаған. Компания туралы толығырақ — Mistral AI досьесінде.

Дереккөздер: Mistral AI — Voxtral 3 анонсы