「Voxtral-Mini-4B-Realtime-2602-GGUF」音声認識モデル:必要VRAM 4GB〜

「Voxtral-Mini-4B-Realtime-2602-GGUF」音声認識モデル:必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ ggml-org/Voxtral-Mini-4B-Realtime-2602-GGUF
まとめページ Ministral-3 のまとめ(記事2本)
公開元のまとめ Mistral AI のモデルとライセンスのまとめ
公開日 2026-10-16
ライセンス apache-2.0
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリで裏付けあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-org/Voxtral-Mini-4B-Realtime-2602-GGUF は、mistralai/Voxtral-Mini-4B-Realtime-2602 をベースモデルとして、GGUF形式で量子化されたモデルです。このモデルは、音声入力をリアルタイムでテキストへと変換する、ストリーミング形式の音声認識(Automatic Speech Recognition)を目的として開発されました。音声データのストリーミングセッションを通じて、逐次的に文字起こしを行うことが可能な設計となっており、リアルタイム性が求められるアプリケーションへの利用が想定されています。本リポジトリでは、ggml-org によって自動変換された量子化版が提供されています。

スペック

本モデルの技術的な仕様およびライセンスに関する情報は以下の通りです。

  • アーキテクチャ: VoxtralRealtimeForConditionalGeneration
  • パイプライン: automatic-speech-recognition
  • 配布形式: GGUF
  • ライセンス: apache-2.0
  • 対応言語: 英語、フランス語、スペイン語、ドイツ語、ロシア語、中国語、日本語、イタリア語、ポルトガル語、オランダ語、アラビア語、ヒンディー語、韓国語
  • 特徴: 会話(conversational)にも対応した設計となっています。

性能・品質

元モデルである Voxtral Mini 4B Realtime 2602 の性能評価として、Fleursベンチマークを用いた比較結果が示されています。このベンチマークでは、オフライン動作する Voxtral Mini Transcribe 2.0 と、異なる遅延(Delay)設定を持つリアルタイムモデルの精度が比較されています。

→ 横にスクロールできます

Model Delay AVG Arabic German English Spanish French Hindi Italian Dutch Portuguese Chinese Japanese Korean Russian
Voxtral Mini Transcribe 2.0 Offline 5.90% 13.54% 3.54% 3.32% 2.63% 4.32% 10.33% 2.17% 4.78% 3.56% 7.30% 4.14% 12.29% 4.75%
Voxtral Mini 4B Realtime 2602 480 ms 8.72% 22.53% 6.19% 4.90% 3.31% 6.42% 12.88% 3.27% 7.07% 5.03% 10.45% 9.59% 15.74% 6.02%
160 ms 12.60% 24.33% 9.50% 6.46% 5.34% 9.75% 15.28% 5.59% 11.39% 10.01% 17.67% 19.17% 19.81% 9.53%
240 ms 10.80% 23.95% 8.15% 5.91% 4.59% 8.00% 14.26% 4.41% 9.23% 7.51% 13.84% 15.17% 17.56% 7.87%
960 ms 7.70% 20.32% 4.87% 4.34% 2.98% 5.68% 11.82% 2.46% 6.76% 4.57% 8.99% 6.80% 14.90% 5.56%
2400 ms 6.73% 14.71% 4.15% 4.05% 2.71% 5.23% 10.73% 2.37% 5.91% 3.93% 8.48% 5.50% 14.30% 5.41%

この表から、オフラインモデルである Voxtral Mini Transcribe 2.0 は、平均(AVG)で 5.90% という最も低いエラー率を示しています。リアルタイムモデルにおいては、設定する遅延(Delay)が大きくなるにつれて、エラー率が低下していく傾向が確認できます。例えば、遅延が 160ms の場合は平均 12.60% ですが、遅延を 2400ms まで増やすと 6.73% まで改善されます。

モデルカードの記述によれば、Voxtral Mini 4B Realtime 2602 は、主要なオフラインモデルに匹敵する精度を実現しており、既存のオープンソースのリアルタイムソリューションと比較して、精度面で大幅な向上を示していると報告されています。

得意なこと・想定用途

本モデルは、音声のストリーミング入力に対して逐次的に文字起こしを行うリアルタイム音声認識(ASR)に特化しています。モデルカードでは、音声データのストリーミングセッションを通じて、低遅延で文字起こしを継続できることが強調されています。

具体的な用途としては、リアルタイム性が求められる会話型アプリケーションや、音声データのライブ文字起こしなどが想定されています。また、タグとして conversational が付与されていることから、対話的な音声処理にも適した設計となっています。対応言語は日本語を含む多言語に対応しており、幅広い言語環境での利用が可能です。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 4.4B(元モデル mistralai/Voxtral-Mini-4B-Realtime-2602 の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q4_K_M 2.4GB 2.9GB
RTX 4060 / 3060 Ti など 8GB BF16 6.4GB 7.7GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は GGUF です。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q4_K_M は実測 4.65 bit/weight で、元の16bitの重みの約29%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
ggml-org/VibeVoice-ASR-GGUF 8.3B 8GB mit 「VibeVoice-ASR-GGUF」音声認識・話者識別モデル:必要VRAM 8GB〜・配布ファイル一覧(2026-11-17)
Edge0/Audio8-ASR-Infinite 4.1B 12GB apache-2.0 「Audio8-ASR-Infinite」音声認識モデル:必要VRAM 12GB〜・配布ファイル一覧(2026-09-24)

配布ファイル

ggml-org/Voxtral-Mini-4B-Realtime-2602-GGUF で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
mmproj-Voxtral-Mini-4B-Realtime-2602-BF16.gguf 1.99GB
mmproj-Voxtral-Mini-4B-Realtime-2602-Q8_0.gguf 1.06GB
Voxtral-Mini-4B-Realtime-2602-BF16.gguf 6.88GB
Voxtral-Mini-4B-Realtime-2602-Q4_K_M.gguf 2.55GB
Voxtral-Mini-4B-Realtime-2602-Q8_0.gguf 3.66GB

入手方法

本モデルは GGUF 形式で配布されています。以下のリポジトリから入手可能です。

  • リポジトリ: ggml-org/Voxtral-Mini-4B-Realtime-2602-GGUF

また、ソースコードの記述によれば、llama.cpp を用いたサービングが可能です。以下のコマンドで起動できることが示されています。

llama serve -hf ggml-org/Voxtral-Mini-4B-Realtime-2602-GGUF

関連記事

次に読むなら

出典