「FastH3-QAD-v2」音声付き動画生成モデル:配布ファイル一覧

「FastH3-QAD-v2」音声付き動画生成モデル:配布ファイル一覧

基本情報

項目 内容
リポジトリ FastVideo/FastH3-QAD-v2
まとめページ MiniMax-H3 のまとめ(記事14本)
公開元のまとめ MiniMax のモデルとライセンスのまとめ
公開日 2026-10-17
ライセンス other
配布形式 safetensors
出典の種類 公開元の一次情報(FastVideo公式HFアカウントが公開した一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

FastVideoより、音声付き動画生成モデル「FastH3-QAD-v2」が公開されました。テキストを入力することで、同期した音声を含む動画を出力します。

本モデルは、8ステップの推論に対応した音声・動画統合モデル「FastVideo-FastH3-8-Step-V2」をベースとし、NVFP4形式に量子化した派生モデルです。量子化を考慮した蒸留(Quantization-Aware Distillation: QAD)を用いて学習されており、単一のBlackwell世代GPU環境(RTX 5090、RTX PRO 6000など)やDGX Sparkでの実行に対応しています。

スペック

  • ベースモデル: 「FastVideo/FastVideo-FastH3-8-Step-V2」(大元のベースモデルはMiniMaxAI/MiniMax-H3)をベースにしています。
  • Transformerアーキテクチャ: 50ブロック構成のTransformerを採用しています。すべてのAttention層(q、k、v、out)およびMLP線形層、さらにスパースアテンション(VSA)ゲートに対してNVFP4 W4A4が適用されています。q/k/v/outおよびMLPの重みはQADによって学習されていますが、VSAゲートおよびすべての正規化層(Norm)はBF16のまま保持されています。
  • アテンション機構: 64トークンのタイルによるブロックスパースVSA(スパース性0.8)を採用しています。チェックポイント自体はBF16 VSAで学習されていますが、FastVideoではBlackwell向けにFP4 VSAの推論レーンも提供されています。
  • テキストエンコーダー: MiniMax H3が読み込む50層に合わせてトリミングされたNVFP4形式のQwen3-VLを使用しています。
  • VAE: 映像側にはKijai氏によるINT8重みを適用した軽量ビデオVAE「LynnReal」を使用し、音声側にはH3オーディオVAEを組み合わせています。
  • 推論ステップ数・サンプリング: 8ステップのDMD(Distribution Matching Distillation)スケジュールを採用しています。設定は同梱されている fastvideo_inference.json に記録されており、FastVideoから自動的に読み込まれます。
  • ライセンス条件: リポジトリ上では「other」ライセンスと設定されています。なお、元モデルであるFastVideo-FastH3-8-Step-V2側では「MiniMax H3 Community License」を継承している旨が記載されています。

性能・品質

公開元より、BF16版の教師モデルに対する予測誤差(30個のホールドアウトプロンプトを用いたx0予測の相対L2誤差)の測定結果が公表されています。この指標は値が低いほど優秀であることを示します。

モデルカードに記載された測定結果は以下の通りです。

Metric FastH3-QAD-v2
Mean (video + audio) 0.351
Video 0.382
Audio 0.319

公表された数値によると、映像と音声を合わせた平均相対L2誤差(Mean)は0.351となっています。内訳を見ると、映像単体の相対L2誤差が0.382であるのに対し、音声単体では0.319となっており、音声生成側のほうが教師モデルに対する誤差が小さく抑えられていることが示されています。

量子化手法であるQADについて、公開元は凍結されたBF16教師モデルの8ステップの軌跡に沿ってNVFP4の生徒モデルを学習させたと説明しています。生徒モデルは実際の4ビットの重みとアクティベーションを用いてフォワードパスを実行するため、量子化された計算に適した重みを獲得しています。学習はテキストプロンプトのみを用いて300ステップ、学習率5e-6で実行され、行の25%には生徒自身の軌跡が使用されています。VSAゲートや正規化層を変更するとアテンションの計算精度だけでなく注目する映像タイル自体が変わってしまうため、これらは凍結され、量子化対象の線形層のみが学習されています。

なお、元モデルであるFastVideo-FastH3-8-Step-V2の性能面について、80%のスパース性を持つVSA-H3とデータフリーDMD2によりわずか8回のTransformerフォワードで動画と音声を生成できる一方で、FL2VAやRef2VAは蒸留されていないとされています。また、複雑な動きや細かいディテール、一部の音声品質については、ベースとなるMiniMax H3モデルよりも劣る場合があると元モデルカードに記載されています。

得意なこと・想定用途

本モデルは、テキストプロンプトからの音声付き動画生成(text-to-video)に特化しています。わずか8回のフォワードパスという非常に少ないステップ数で、映像とそれに同期した音声を同時に出力できる点が最大の特徴です。

想定用途としては、短尺の音声付き動画コンテンツの生成やプロトタイピングが挙げられます。特に単一のBlackwell世代GPU環境(RTX 5090やRTX PRO 6000など)やDGX Sparkといった単一マシン上でのローカル推論を主なターゲットとしています。従来のベースモデルでは複数台のGPU構成などが求められていた処理を、単一GPUで効率的に実行できる運用環境の構築に適しています。

また、単に既存の重みを後処理で量子化するのではなく、量子化を考慮した蒸留(QAD)によって4ビットのフォワードパスに適した重みを学習させているため、量子化に伴う誤差を抑えながら高品質な同期動画を生成したい場面に向いています。ただし、元モデルの情報にある通り、FL2VAやRef2VAといったタスクには対応しておらず、複雑な動きや細かい描写、一部の音声品質についてはベースとなるMiniMax H3モデルから制限を受ける場合がある点に留意する必要があります。

類似モデルとの違い

当サイトで過去に取り上げた音声付き動画生成モデル「FastH3 V2」のFP8およびNVFP4版公開で紹介したモデルは、較正済みの重みとアクティベーションスケールを引き継ぐ形で量子化を行っていました。これに対して今回のFastH3-QAD-v2は、凍結されたBF16教師モデルの生成軌跡に沿ってNVFP4の生徒モデルを直接蒸留学習させるQAD(Quantization-Aware Distillation)を採用しており、4ビット実行時の誤差をさらに抑制するアプローチを取っている点が異なります。

また、トランスフォーマーの層を8ブロック削除して42ブロック構成に縮小した音声付き動画生成モデル「FastH3 Trim」8ステップ版が公開と比較すると、FastH3-QAD-v2は元の50ブロック構成をすべて維持しています。ブロック削減による構造的な簡略化ではなく、アーキテクチャの規模を保ったままNVFP4 W4A4量子化と蒸留を組み合わせることで、単一GPUでの実行性と出力精度の両立を図っています。

配布ファイル

FastVideo/FastH3-QAD-v2 で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
audio_vae/diffusion_pytorch_model.safetensors 605MB
text_encoder/model-*-of-00004.safetensors 16.46GB(4分割)
transformer/adaln_tables.pt 155MB
transformer/diffusion_pytorch_model-*-of-00006.safetensors 27.71GB(6分割)
transformer/nvfp4_weights.safetensors 11.92GB
vae/diffusion_pytorch_model.safetensors 4.23GB
vae/minimax_h3_video_vae_int8_convrot.safetensors 2.14GB

入手方法

FastH3-QAD-v2は、Hugging Faceのリポジトリ(FastVideo/FastH3-QAD-v2)からsafetensors形式で公開されています。リポジトリはゲート付き(Gated)ではないため、追加の利用規約同意を行わずにダウンロードして利用できます。Diffusersライブラリのモジュラーパイプライン(MiniMaxH3ModularPipeline)に対応しているほか、FastVideoフレームワークから利用可能です。

システムRAMが64GB未満の環境向けに、メモリ消費を抑える工夫が用意されています。本モデルの50ブロック分あるAdaLNタイムステップ射影層は、BF16形式のまま読み込むと約26GBの容量を消費します。これに対して公開元は、同梱の8ステップスケジュール(fastvideo_inference.json)向けに事前計算された出力データである transformer/adaln_tables.pt(155MB)を提供しています。

このテーブルファイルを事前に取得して環境変数に設定することで、FastVideo側で26GBの射影層のロードをスキップし、システムRAMの消費を大幅に削減できます。設定手順は以下の通りです。

import os
from huggingface_hub import hf_hub_download

os.environ["FASTVIDEO_H3_ADALN_TABLE"] = hf_hub_download(
    "FastVideo/FastH3-QAD-v2", "transformer/adaln_tables.pt")

なお、このテーブルは同梱された推論スケジュール専用となっているため、他のタイムステップを指定した場合はFastVideo側でエラーが発生する仕様となっています。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス other: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(other)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

関連記事

次に読むなら

出典