「Voxtral-Mini-4B-Realtime-Arabic」音声認識モデル:必要VRAM 4GB〜

「Voxtral-Mini-4B-Realtime-Arabic」音声認識モデル:必要VRAM 4GB〜

作例は配布元のモデルカードで公開されています。

基本情報

項目 内容
リポジトリ mistralai/Voxtral-Mini-4B-Realtime-Arabic
まとめページ Ministral-3 のまとめ(記事2本)
公開元のまとめ Mistral AI のモデルとライセンスのまとめ
公開日 2026-10-08
配布形式 safetensors
出典の種類 公開元の一次情報(公式HFリポジトリ(mistralai)が一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Mistral AIは、アラビア語の方言および現代標準アラビア語(Modern Standard Arabic)に対応したストリーミング音声認識モデル「Voxtral-Mini-4B-Realtime-Arabic」を公開しました。音声を入力するとリアルタイムにテキストを出力するSpeech-to-Textモデルであり、ライブ字幕や音声インターフェースなどの用途に向けて設計されています。

本モデルは、ベースモデルである「Voxtral-Mini-4B-Realtime-2602」をファインチューニングした派生版です。同一の会話内で話者が複数の言語を行き来するコードスイッチング(code-switching)や、現実環境における難易度の高い音声入力への対応に強みを持っています。モロッコのデジタル移行・行政改革省(MTNRA)との戦略的パートナーシップのもとで共同開発された主権AI資産と位置付けられています。

スペック

公開されているモデルカードおよび関連資料に基づく仕様は以下の通りです。

  • パラメータ数: 約44億(BF16精度)
  • アーキテクチャ: 因果的オーディオエンコーダ(causal audio encoder)および言語デコーダ(language decoder)で構成される VoxtralRealtimeForConditionalGeneration
  • 入力音声仕様: 16 kHzサンプリングレート
  • 出力仕様: 音声ストリームの受信に伴いテキストを逐次生成(ストリーミング出力)
  • 推奨設定: temperature 0.0、サンプリングは無効(do_sample=False)
  • 遅延設定: 書き起こし遅延(transcription delay)を設定可能。公開元によるベンチマーク評価では480 msが設定されています(ベースモデルの仕様ではtekken.jsonにて80 msから1200 msまでの80 ms刻み、および2400 msが選択可能とされています)
  • 対応言語・方言: 現代標準アラビア語およびモロッコ方言(Darija)をはじめとする各種アラビア語方言(タグ情報としてar, ary, ayl, aeb, arq, mey, afb, ars, acx, ayn, arz, apd, acm, ajp, apc, shuなどが付与されています)

性能・品質

公開元が公表したベンチマーク結果によると、Voxtral-Mini-4B-Realtime-Arabicは書き起こし遅延を480 msに設定した状態で、7種類のアラビア語ベンチマーク全体において平均CER(Character Error Rate:書き起こしの文字単位の誤り率、低いほど良い指標)8.82%を達成したと報告されています。このスコアは、オフライン専用モデルである「Voxtral Transcribe Arabic」が記録したCER 7.91%に対して0.91ポイント差に迫る水準であり、複数のオープンソースおよびプロプライエタリなオフラインモデルを上回るとされています。

評価には既存のアラビア語ベンチマークに加えて、MTNRAと共同開発された「ISMA」および「Darija in the Wild」という2つの新しいベンチマークが使用されています。評価時のCER算出には、アラビア語方言特有の綴りや接語、外来語、音声による数詞などを処理する正規化コード(normalization.py)が適用されています。

なお、本モデルのベースとなった元モデル「Voxtral-Mini-4B-Realtime-2602」の公開資料には、多言語音声ベンチマーク「Fleurs」における以下の比較表が掲載されています(元モデルの公表性能です)。

→ 横にスクロールできます

Model Delay AVG Arabic German English Spanish French Hindi Italian Dutch Portuguese Chinese Japanese Korean Russian
Voxtral Mini Transcribe 2.0 Offline 5.90% 13.54% 3.54% 3.32% 2.63% 4.32% 10.33% 2.17% 4.78% 3.56% 7.30% 4.14% 12.29% 4.75%
Voxtral Mini 4B Realtime 2602 480 ms 8.72% 22.53% 6.19% 4.90% 3.31% 6.42% 12.88% 3.27% 7.07% 5.03% 10.45% 9.59% 15.74% 6.02%
160 ms 12.60% 24.33% 9.50% 6.46% 5.34% 9.75% 15.28% 5.59% 11.39% 10.01% 17.67% 19.17% 19.81% 9.53%
240 ms 10.80% 23.95% 8.15% 5.91% 4.59% 8.00% 14.26% 4.41% 9.23% 7.51% 13.84% 15.17% 17.56% 7.87%
960 ms 7.70% 20.32% 4.87% 4.34% 2.98% 5.68% 11.82% 2.46% 6.76% 4.57% 8.99% 6.80% 14.90% 5.56%
2400 ms 6.73% 14.71% 4.15% 4.05% 2.71% 5.23% 10.73% 2.37% 5.91% 3.93% 8.48% 5.50% 14.30% 5.41%

元モデルの測定結果を見ると、遅延が長くなるほど誤り率は低減し、2400 ms設定ではアラビア語CERが14.71%まで改善する一方、480 ms設定では22.53%にとどまっていました。また英語(4.90%)やイタリア語(3.27%)と比較して、ベースモデル単体ではアラビア語の誤り率が高かったことが確認できます。今回公開された特化モデルは、このアラビア語領域を集中的に学習することで、低遅延(480 ms)でありながら大幅な認識精度の向上を図った構成となっています。

得意なこと・想定用途

Voxtral-Mini-4B-Realtime-Arabicは、低遅延が求められるストリーミング環境でのアラビア語書き起こしに特化したモデルです。主な用途として、リアルタイムのライブ字幕生成や、音声対話システムなどの音声インターフェースが挙げられています。

本モデルの大きな強みは、現代標準アラビア語だけでなく、多様なアラビア語方言に対応している点です。モロッコ方言(Darija)をはじめとする複数地域の方言が含まれる音声環境や、実環境特有のノイズ・言い回しにも耐性を持つよう調整されています。

さらに、話者が会話の途中で複数の言語を切り替える「コードスイッチング」への対応力も重視されています。モデルカードによると、アラビア語を軸としたコードスイッチングを集中的に学習させた結果、学習時に想定していた組み合わせにとどまらず、学習フォーカス外の言語が混在するコードスイッチングにおいても精度の向上が確認されたと報告されています。

一方で、本モデルはアラビア語の音声認識を主対象としています。制限事項(Limitations)として、アラビア語以外の多言語を対象とした音声書き起こしを行う場合は、ベースモデルである「Voxtral-Mini-4B-Realtime-2602」を利用することが推奨されています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 4.4B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q6_K 2.6GB 3.2GB
RTX 4060 / 3060 Ti など 8GB F16 6.4GB 7.7GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 ファイルサイズは変換版 mradermacher/Voxtral-Mini-4B-Realtime-Arabic-GGUF の配布ファイルの実測値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors です。

量子化の圧縮率: Q6_K は実測 5.04 bit/weight で、元の16bitの重みの約32%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルにはライセンスの表示が無く、利用の許諾を確認できません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
ggml-org/VibeVoice-ASR-GGUF 8.3B 8GB mit 「VibeVoice-ASR-GGUF」音声認識・話者識別モデル:必要VRAM 8GB〜・配布ファイル一覧(2026-11-17)
Edge0/Audio8-ASR-Infinite 4.1B 12GB apache-2.0 「Audio8-ASR-Infinite」音声認識モデル:必要VRAM 12GB〜・配布ファイル一覧(2026-09-24)

配布ファイル

mistralai/Voxtral-Mini-4B-Realtime-Arabic で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
consolidated.safetensors 8.86GB
model.safetensors 8.86GB

入手方法

Voxtral-Mini-4B-Realtime-Arabicの重みはHugging Faceリポジトリにてsafetensors形式で公開されています。リポジトリはゲート付き(Gated)ではないため、追加の同意申請なしでダウンロード可能です。

本モデルは推論エンジンとしてvLLMおよびTransformersに対応しています。

vLLMを使用する場合は、vLLM本体とmistral-commonの音声依存パッケージを導入した上で、次のようにサーバーを起動できます。

pip install --upgrade vllm "mistral-common"

vllm serve mistralai/Voxtral-Mini-4B-Realtime-Arabic

サーバー起動後は、/v1/realtimeエンドポイントに対してWebSocket経由で音声をストリーミング送信することで、リアルタイムな書き起こしを利用できます。

Transformersを利用する場合は、バージョン5.2.0以上でネイティブ対応しています。以下のコマンドで必要な依存関係をインストールします。

pip install --upgrade "transformers>=5.2.0" accelerate
pip install --upgrade "mistral-common"

Pythonスクリプトから実行するコード例は以下の通りです。モデルとプロセッサを読み込み、16 kHzのリサンプリング処理を行った音声配列を渡して推論を行います。

import torch
from transformers import VoxtralRealtimeForConditionalGeneration, AutoProcessor
from mistral_common.tokens.tokenizers.audio import Audio
from huggingface_hub import hf_hub_download

repo_id = "mistralai/Voxtral-Mini-4B-Realtime-Arabic"

processor = AutoProcessor.from_pretrained(repo_id)
model = VoxtralRealtimeForConditionalGeneration.from_pretrained(
    repo_id, dtype=torch.bfloat16, device_map="auto"
)

audio_file = hf_hub_download(
    repo_id=repo_id,
    filename="assets/bank-take-2.wav",
    repo_type="model",
)
audio = Audio.from_file(audio_file, strict=False)
audio.resample(processor.feature_extractor.sampling_rate)

inputs = processor(audio.audio_array, return_tensors="pt")
inputs = inputs.to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, do_sample=False)
print(processor.batch_decode(outputs, skip_special_tokens=True)[0])

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-17 mradermacher GGUF mradermacher/Voxtral-Mini-4B-Realtime-Arabic-GGUF Q6_K 3.2GB(4GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • mradermacher/Voxtral-Mini-4B-Realtime-Arabic-GGUF の量子化: Q2_K 1.4GB / Q3_K_S 1.5GB / Q3_K_M 1.7GB / Q3_K_L 1.8GB / IQ4_XS 1.8GB / Q4_K_S 1.9GB / Q4_K_M 2.0GB / Q5_K_S 2.3GB / Q5_K_M 2.3GB / Q6_K 2.6GB / Q8_0 3.4GB / F16 6.4GB

このほか、上記以外の投稿者による変換版が 1 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-17: 変換版を「派生版・量子化版」に追記しました: mradermacher/Voxtral-Mini-4B-Realtime-Arabic-GGUF
  • 2026-11-17: 動作環境の表を mradermacher/Voxtral-Mini-4B-Realtime-Arabic-GGUF の実ファイルサイズで更新しました。
  • 2026-11-17: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。