「VibeVoice-ASR-GGUF」音声認識・話者識別モデル:必要VRAM 8GB〜・配布ファイル一覧

「VibeVoice-ASR-GGUF」音声認識・話者識別モデル:必要VRAM 8GB〜・配布ファイル一覧

基本情報

項目 内容
リポジトリ ggml-org/VibeVoice-ASR-GGUF
公開元のまとめ Microsoft のモデルとライセンスのまとめ
公開日 2026-11-16
ライセンス mit
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリの自動変換版)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-orgより、Microsoftが開発した音声認識モデル「VibeVoice-ASR」のGGUF形式変換版である「ggml-org/VibeVoice-ASR-GGUF」が公開されました。音声データを入力すると、テキストの書き起こしに加えて「誰が(話者識別)」「いつ(タイムスタンプ)」「何を話したか」を構造化して出力するSpeech-to-Textモデルです。llama.cppエコシステムに対応しており、ローカル環境での手軽な実行が可能になっています。

スペック

  • ベースモデル: microsoft/VibeVoice-ASR-HF
  • アーキテクチャ: VibeVoiceAsrForConditionalGeneration (model_type: vibevoice_asr)
  • 対応言語: 英語、中国語、日本語、スペイン語、ドイツ語、フランス語など50言語以上(多言語間のコードスイッチングにもネイティブ対応)
  • 音声処理能力: 最大60分の連続音声を64Kトークン長内で単一パス処理(60秒単位のチャンク分割処理にも対応、サンプリングレート24kHz)
  • ライセンス条件: MITライセンス(ベースモデル、GGUF版ともにMITライセンスの下で提供されており、所定の著作権表示と許諾表示を保持することで利用可能です)

性能・品質

元モデル「microsoft/VibeVoice-ASR-HF」のモデルカードで公開されているOpen ASR Leaderboardの評価結果は以下の通りです(本数値は元モデルに関する公表値です)。WER(Word Error Rate)は書き起こしの単語単位の誤り率を示す指標で、数値が低いほど優秀であることを意味します。

Dataset WER (%)
ami_test 17.20
earnings22_test 13.17
gigaspeech_test 9.67
librispeech_test.clean 2.20
librispeech_test.other 5.51
spgispeech_test 3.80
tedlium_test 2.57
voxpopuli_test 8.01
Average 7.77
RTFx 51.80

公表された測定結果によると、テストデータセットの平均WERは7.77%を達成しています。特に「librispeech_test.clean」(2.20%)や「tedlium_test」(2.57%)といったデータセットで低い誤り率を示している一方、会議音声などの「ami_test」(17.20%)や財務関連の「earnings22_test」(13.17%)では誤り率が高くなる傾向が見られます。また、処理速度の指標であるRTFxは51.80と公表されています。

得意なこと・想定用途

VibeVoice-ASRは、長時間にわたる会話音声の書き起こしや、複数人が参加する対話の分析において高い威力を発揮するモデルです。元モデルである「microsoft/VibeVoice-ASR-HF」の仕様に基づき、以下のような用途やシナリオに強みを持っています。

最大60分の長尺音声を単一パスで一括処理

従来の音声認識モデルの多くは、音声を短い区間にスライスして処理するため、文脈や話者情報が途切れてしまう課題がありました。VibeVoice-ASRは64Kトークンのコンテキスト長を活用し、最大60分間の連続音声を単一パスで処理できます。これにより、ポッドキャスト、長時間のビジネス会議、インタビュー、講義といった長尺の音声コンテンツでも、全体の文脈と話者の追跡の一貫性を保ったまま高精度に書き起こすことが可能です。

話者識別・タイムスタンプ・発話内容の統合出力

VibeVoice-ASRは、音声認識(ASR)だけでなく、話者ダイアライゼーション(誰が話したか)とタイムスタンプ付与(いつ話したか)を同時に実行します。モデルの出力はJSON風の構造化テキストとなっており、開始時刻・終了時刻・話者ID・発話テキストがまとめられた形式で取得できます。これにより、個別のダイアライゼーションツールやアライメントツールを組み合わせることなく、議事録の作成や字幕データの生成をワンストップで行うことができます。

カスタムホットワードによる認識精度の補正

人名や企業名、技術用語などの固有名詞、あるいは文脈情報をプロンプト(Hotwords)としてモデルに与えることで、特定ドメインにおける認識精度を大幅に向上させることができます。公開元の資料では、ドイツ語訛りの英語音声に対してプロンプトなしでは単語を取り違えていたケースでも、「About VibeVoice」という文脈プロンプトを付与することで正確にブランド名を書き起こせる作例が示されています。

50言語以上の多言語認識とコードスイッチングへの対応

日本語、英語、中国語、スペイン語、フランス語、ドイツ語など50以上の言語に対応しています。事前に言語を指定する必要がなく、モデルが自動的に音声を認識します。さらに、同一の発話内や会話の途中で言語が切り替わるコードスイッチングにもネイティブ対応しているため、国際的なオンライン会議や多言語が混在する自然な対話音声の処理にも適しています。

GGUF形式によるローカル環境での柔軟な実行

本モデル「ggml-org/VibeVoice-ASR-GGUF」は、ggml-orgの自動変換パイプラインを通じてGGUF形式に変換されたものです。llama.cppエコシステムに対応したことで、Python環境や重厚な深層学習フレームワークを立ち上げることなく、軽量なバイナリを用いて端末上で直接音声認識を実行できるようになっています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 8.3B(元モデル microsoft/VibeVoice-ASR-HF の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB Q4_K_M 4.4GB 5.2GB
RTX 4070 / 3060 12GB など 12GB Q8_0 7.5GB 9.1GB
RTX 4090 / 3090 など 24GB BF16 14.2GB 17.0GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は GGUF です。

ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。

量子化の圧縮率: Q4_K_M は実測 4.54 bit/weight で、元の16bitの重みの約28%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
mistralai/Voxtral-Mini-4B-Realtime-Arabic 4.4B 4GB — 「Voxtral-Mini-4B-Realtime-Arabic」音声認識モデル:必要VRAM 4GB〜(2026-11-17)
ggml-org/Voxtral-Mini-4B-Realtime-2602-GGUF 4.4B 4GB apache-2.0 「Voxtral-Mini-4B-Realtime-2602-GGUF」音声認識モデル:必要VRAM 4GB〜(2026-11-17)
Edge0/Audio8-ASR-Infinite 4.1B 12GB apache-2.0 「Audio8-ASR-Infinite」音声認識モデル:必要VRAM 12GB〜・配布ファイル一覧(2026-09-24)

配布ファイル

ggml-org/VibeVoice-ASR-GGUF で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
mmproj-VibeVoice-ASR-BF16.gguf 1.43GB
mmproj-VibeVoice-ASR-Q8_0.gguf 840MB
VibeVoice-ASR-BF16.gguf 15.24GB
VibeVoice-ASR-Q4_K_M.gguf 4.68GB
VibeVoice-ASR-Q8_0.gguf 8.10GB

入手方法

本モデルはHugging Faceの「ggml-org/VibeVoice-ASR-GGUF」リポジトリにてGGUF形式で配布されています。利用にあたって事前のアクセス申請やライセンス同意を求めるゲート(Gated)は設定されておらず、誰でも直接ダウンロードして利用できます。

Llama appでの利用

GUI環境で手軽に利用したい場合は、公式に対応が案内されているLlama app( https://llama.app )を利用してモデルを実行できます。

ターミナルからの実行

コマンドラインからサーバーとして立ち上げる場合は、llama.cppのツールを用いて以下のコマンドを実行します。

llama serve -hf ggml-org/VibeVoice-ASR-GGUF

このモデルはggml-orgの変換ツール(convert)を用いて自動変換されたものであり、llama.cppにおけるSpeech-to-Textモデルとしての対応が進められています。詳細な実装状況やPR情報についてはllama.cppのPull Request #32329にて確認できます。

なお、オリジナルのモデル重みやTransformersライブラリを用いた実装を利用したい場合は、ベースモデルである「microsoft/VibeVoice-ASR-HF」のリポジトリを参照してください。

関連記事

次に読むなら

出典