Mistral AIが音声認識・音声合成モデル「Voxtral 3」を発表

基本情報
| 項目 | 内容 |
|---|---|
| 公開元 | Mistral AI |
| 公開日 | 2026-10-20 |
| 出典の種類 | 公開元の一次情報(Mistral AI公式ブログからの一次情報) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
Mistral AIは、音声認識(Speech-to-Text)および音声合成(Text-to-Speech)のモデルファミリーと音声エージェントSDKで構成される「Voxtral 3」を発表しました。音声を入力として高精度な文字起こしを行う機能と、テキストから感情豊かで自然な音声を生成する機能を兼ね備えています。
本モデル群は、リアルタイムな多段階会話の処理を想定して設計されており、50以上の言語に対応しています。自社インフラへのセルフデプロイに対応するほか、Mistral AIが提供するEUホストのAPI経由でも利用可能となっており、データ主権を確保しながら低遅延な対話システムを構築できます。
スペック
公開された資料に記載されている主な仕様は以下の通りです。
- パラメータ数: Voxtral Mini Transcribe 3は4B(40億)パラメータです。
- 入出力仕様:
- 音声認識: 音声入力からテキストを出力します。50以上の言語(EUの公用語24言語や低リソースのアジア・インド系言語を含む)に対応しています。 – 音声合成: テキスト入力から音声を生成します。35以上の言語および50以上の地域方言に対応しています。
- レイテンシ: リアルタイム音声認識モデル(Voxtral Realtime Transcribe 3)は、500ミリ秒未満(sub-500ms)の低遅延で文字起こしを実行します。
- 音声認識の主要機能: 話者分離(ダイアライゼーション)、ドメイン特有の語彙精度を向上させるコンテキストバイアス、音響・意味情報から発話の終了を検知する発話終了検出(end-of-turn detection)を備えています。
- 音声合成の主要機能: 会話の文脈に応じた感情・ペース・強調の自動適応、30分以上の音声素材を用いたプロフェッショナル向け音声適応(Pro Voice)、カスタム指示追従(emotion、pacing、emphasis)、発音を制御する語彙ライブラリに対応しています。また、18言語の音声プリセットが提供されています。
- 配布および利用形態: Mistral AIのEUホストAPIまたは自社インフラストラクチャへのセルフデプロイが可能です。API利用時の価格として、Voxtral Mini Transcribe 3(バッチ)は1分あたり0.0035ドル、Voxtral Mini Transcribe Realtime 3は1分あたり0.008ドル、Voxtral Small Transcribe 3は1分あたり0.0040ドル、Voxtral Speech 3は100万文字あたり13ドルと公表されています。
性能・品質
公開元であるMistral AIは、各種ベンチマークによる評価結果を公表しています。音声認識の分野では、書き起こしの単語単位の誤り率(WER: 低いほど良い)や文字単位の誤り率(CER: 低いほど良い)を用いた多言語評価が実施されています。
音声認識モデルのVoxtral Small Transcribe 3は、多言語音声認識ベンチマーク「FLEURS 45」(言語指定および言語自動検出)において、WhisperやScribe v2、Gemini 3.5 Transcribeを上回る多言語転写精度を達成したと報告されています。日本語、韓国語、タイ語、中国語ではCER、その他の言語ではWERにより評価されています。英語、フランス語、スペイン語などを含む主要言語において優れた結果を示しています。
また、話者分離の評価指標である連結最小順列単語誤り率(cpWER: 低いほど良い)を用いた公開ベンチマーク(AMI-IHM、AMI-SDM、Switchboard、Switchboard CallHome、AISHELL-4)においても、高い精度を示しています。さらに、専門用語や話者名を入力として与えるコンテキストバイアスの評価(Earnings 22)では、文脈を与えることで専門用語のリコール率(Keyphrase Recall)が大きく向上することが示されています。
音声合成モデルのVoxtral Mini TTS 3.0(Voxtral Speech 3)においては、OpenAI TTS-1やDeepgram、ElevenLabs Flash、Gemini Flashと比較したコストパフォーマンスや品質の評価が提示されています。BeSimple AIによる「Voice Code Bench」を用いた数字や固有名詞のカスタマーサポート評価、意図した音素での発音制御率、11言語における多言語評価、英語の表現力評価(Expressive English)など、多角的な項目において高い品質と費用対効果を実現していると説明されています。
得意なこと・想定用途
Voxtral 3は、コンタクトセンター業務や社内サービスデスク、バーチャルアシスタント、ハンズフリーのコパイロットといった、高度な対話型アプリケーションの構築に最適化されています。単なる音声認識やテキスト読み上げの単体処理にとどまらず、リアルタイムで多段階にわたる作業を自動化することを主な用途として想定しています。
具体的には、LiveKitを基盤とした新しい音声エージェントSDKと組み合わせることで、「聴く(音声認識)」「考える(推論・ツール呼び出し)」「話す(音声合成)」の各処理を単一のストリーミングパイプラインとして連動させることができます。各ターンは1秒未満の低遅延で処理され、ユーザーが発話を遮って割り込んだ際には、エージェントが即座に発話を停止する仕組みが備わっています。
通話中や対話中における具体的なユースケースとして、以下のような業務連携が挙げられています。
- 発信者の本人確認や照会作業
- 請求情報の確認や案内
- 関数呼び出し(Function calling)や社内システムからの情報検索(Retrieval)、Web検索を活用した面談・予約の自動手配
電話回線(SIP)やブラウザ・モバイルアプリケーション(WebRTC)を介した通話に対応するほか、既存のテレフォニー基盤、IVR(自動音声応答システム)、コンタクトセンター向けソフトウェアとも直接接続できます。
音声認識面では、専門用語や話者名といったドメイン固有の語彙をコンテキストバイアスとして与えることで、ファインチューニングを行わずに業界特有の用語を高精度に書き起こす運用に適しています。
音声合成面では、会話の文脈から感情やスタイルを自動的に判断して発話する機能に長けています。感情や発話ペース、強調したい単語をプロンプトで明示的に指定できるほか、IPA(国際音声記号)による非標準的な発音の制御にも対応しています。さらに、30分以上の音声素材を用意することで、話者特有のキャラクターや感情表現、話し方を多言語にわたって忠実に再現するプロフェッショナル向けの音声適応機能(Pro Voice)も備えています。50以上の地域方言や地域の慣習(日付、時間、住所、通貨などの読み上げ)に合わせたきめ細かな音声案内が可能です。
入手方法
Voxtral 3の各モデルおよび音声エージェント機能は、用途やインフラの要件に応じて複数の形態で提供されています。
クラウド経由での利用については、Mistral AIのAPIを通じてヨーロッパ、米国、およびグローバルの各エンドポイントから利用できます。また、ブラウザ上で動作する「Studio playgrounds」が用意されており、音声エージェントの対話、音声文字起こし、音声合成、音声クローニングの動作を直接テストすることが可能です。
機密性の高い音声データを外部に出せない組織向けには、自社インフラストラクチャへのセルフデプロイがサポートされています。オンプレミス環境やプライベートクラウド環境にフルスタックで展開することにより、音声データの処理場所や保持ポリシーを自社で完全に管理し、データ主権を維持したまま運用できます。オンプレミスやプライベートクラウドでのフルスタック展開を希望する場合は、Mistral AIのチームへ問い合わせる案内がなされています。
また、LiveKitをベースに構築された音声エージェントSDKを用いることで、Voxtral Mini Transcribe Realtime 3による音声認識、Mistral Smallなどの汎用言語モデルによる推論・ツール呼び出し、Voxtral Speech 3による音声合成を1つのパイプラインとして結合できます。パイプラインの各段階は独立したモデルとして分離されているため、エージェントの実装全体を書き直すことなく、バックエンドのLLMや生成音声、対応言語を柔軟に差し替えて運用することが可能です。
関連記事
- Mistral Large 4 (Le Chonk)公開:1Tパラメータのマルチモーダルモデル
- Mistralの時系列予測モデル「Timestral」公開、CPUでも高速動作
- Mistral Large 4の公開プレビュー開始、1.05兆パラメータのMoEモデル
- 「Voxtral-Mini-4B-Realtime-Arabic」音声認識モデル:必要VRAM 4GB〜
次に読むなら
- 記事に出てくる WER・CER の読み方を知る → ベンチマーク用語集

