「FastH3-Omni-NVFP4-QAD-Comfy」音声付き動画生成モデル:必要VRAM 16GB〜

「FastH3-Omni-NVFP4-QAD-Comfy」音声付き動画生成モデル:必要VRAM 16GB〜

基本情報

項目 内容
リポジトリ FastVideo/FastH3-Omni-NVFP4-QAD-Comfy
まとめページ MiniMax-H3 のまとめ(記事14本)
公開元のまとめ MiniMax のモデルとライセンスのまとめ
公開日 2026-10-21
ライセンス minimax-h3-community-license-agreement
配布形式 safetensors
出典の種類 公開元の一次情報(FastVideo公式HFリポジトリで裏付け確認)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

FastVideoより、ComfyUIで直接利用可能な音声付き動画生成モデル「FastH3-Omni-NVFP4-QAD-Comfy」が公開されました。本モデルは、テキストプロンプトに加えて画像・動画・音声といった複数のリファレンスを入力として受け取り、それらをもとに同期した32kHzステレオ音声付きの動画を生成するモデルです。

元モデルである「FastVideo-FastH3-Omni-8-Step-V1」をベースに、ComfyUI環境へ適合させた単一のsafetensorsファイルとして提供されています。量子化には量子化対応蒸留(QAD: Quantization-Aware Distillation)を用いたNVFP4形式が採用されており、わずか8サンプリングステップでの高速な推論に対応しています。

スペック

モデルカードおよび元モデルの資料に記載されている主な仕様は以下の通りです。

  • 入力仕様:
  • テキストプロンプトに加え、順序付けられたリファレンス入力を受け付けます。 – リファレンスとして入力可能な上限は、画像が最大9枚、動画が最大3本、音声クリップが最大3つで、合計で最大12件までとなっています。 – リファレンスには少なくとも1つ以上の画像または動画を含める必要があります。 – 入力順序の指定には、プロンプト内でリファレンス参照タグを用います。
  • 出力の仕様:
  • 映像フレームレート: 24 FPS – 音声: 映像と同期した32-kHzステレオ音声 – 生成可能な解像度や尺: 利用するランタイムや利用可能メモリに依存します(元モデルのローカルプロファイルでは480pが標準とされています)。
  • 推奨推論設定:
  • サンプリングステップ数: 8ステップ(8回のTransformer評価) – ガイダンススケール(Guidance): 1.0 – Video shift: 12.0 – Audio shift: 3.0
  • 量子化アーキテクチャ・動作要件:
  • NVFP4 QAD(量子化対応蒸留)形式を採用しています。 – NVFP4による推論のハードウェア加速には、NVIDIA Blackwell世代のハードウェアが必要です。その他のGPUファミリーではBF16やFP8のバリアントを使用することが推奨されています。
  • ComfyUI実行に必要な構成要素:
  • 本モデル本体(diffusion_models用)に加えて、互換性のあるテキストエンコーダ、動画用VAE、音声用VAEの配置が必要です。 – 同期音声を出力するためには音声用VAEが必須となります。また、テキストエンコーダ側にもリファレンスビジョン機能への対応が求められます。
  • ライセンス条件:
  • リポジトリのメタデータによると、「minimax-h3-community-license-agreement」が適用されています。

性能・品質

本モデルカードおよびベースモデルの資料において、ベンチマークスコアや定量的評価をまとめた表は公表されていません。ただし、公開元より生成品質や挙動に関して以下の点が明記されています。

まず元モデルの性能特性として、8回のTransformer評価(8ステップ)という極めて少ない推論ステップ数でありながら、複数のマルチメディアリファレンスを取り込み、32kHzのステレオ音声と同期した24 FPSの動画を破綻なく生成できる点が挙げられています。

一方で、品質に関する留意点として、NVFP4 QADによる量子化出力は元モデルであるBF16版の出力結果とは差異が生じる可能性があると報告されています。また、ComfyUI版は独自のモデルレイアウト、サンプラー、ランタイムカーネルを使用して実行されるため、FastVideoのローカルエンジンやUniServeなどの他ランタイムで実行した場合とも出力品質や挙動が異なる場合がある旨が公開元より案内されています。

得意なこと・想定用途

FastH3-Omni-NVFP4-QAD-Comfyは、テキストの指示に加えて複数の視覚・音響リファレンスを統合し、リファレンスに沿った高品質な動画と音声を一体として生成することを得意としています。

本モデルの想定用途と得意な処理は以下の通りです。

  • マルチメディアリファレンスに基づく動画生成(reference-to-video):
    テキストプロンプトのみからの生成にとどまらず、画像・動画・音声という多様な素材を入力リファレンスとして参照できます。画像は最大9枚、動画は最大3本、音声クリップは最大3つまで(全体で合計12件まで)組み合わせることが可能です。キャラクターの見た目を画像で指定したり、動的なシーンの展開を動画で指示したり、BGMや効果音などの音響素材を参照させたりする高度な演出に向いています。
  • 動画と同期したステレオ音声の同時生成:
    動画リファレンスに含まれるサウンドトラック情報も活用しながら、映像の動きと一致した32-kHzステレオ音声を同時に出力できます。映像制作において、動画生成後に別途音声を付与する手間を省き、一体感のあるコンテンツを素早く制作したい用途に適しています。
  • ComfyUIによるビジュアルワークフローでの高速試行:
    本モデルはComfyUIの「MiniMax H3 Reference to Video」ノードを用いたノードベースのワークフローに直接組み込めます。8サンプリングステップという短工程で推論を完了できるため、パラメーターやプロンプト、入力リファレンスの組み合わせを変えながら反復して生成実験を行う作業に向いています。

類似モデルとの違い

過去に当サイトで紹介したMiniMax-H3ベースのモデルと比較すると、入力できるリファレンスの柔軟性と対象とする実行環境に明確な違いがあります。

テキストから音声付き動画を直接生成するモデルとして紹介した音声付き動画生成モデル「FastH3 V2」のFP8およびNVFP4版公開では、テキストプロンプトを起点とした動画生成が中心でした。これに対して今回のFastH3 Omniは、画像・動画・音声といった最大12件のリファレンス素材を順序付けて入力できるマルチモーダルな条件付けに対応している点が大きく異なります。

また、トランスフォーマーブロックを削減して構造的な軽量化を図った音声付き動画生成モデル「FastH3 Trim」8ステップ版が公開では、ブロックの削除による省サイズ化と品質のトレードオフが検証されていました。これに対して今回のFastH3-Omni-NVFP4-QAD-Comfyは、ブロック削減ではなく量子化対応蒸留(QAD)を用いたNVFP4形式を採用し、ComfyUI専用のファイル形式として提供することで、使いやすさとリファレンス制御能力を両立させています。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 5060 Ti 16GB / 4060 Ti 16GB など 16GB NVFP4 12.8GB 15.4GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス minimax-h3-community-license-agreement(商用利用不可): MiniMax の MiniMax H3 Community License です。ウェイトの利用を認める地域が EU・英国・韓国・米国に限られ、日本は対象外です(第II条・第V条4)。対象外の地域では個別の許諾が必要です。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(minimax-h3-community-license-agreement)は商用利用を認めていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

配布ファイル

FastVideo/FastH3-Omni-NVFP4-QAD-Comfy で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
fasth3_omniref_qad_nvfp4_comfy.safetensors 13.77GB

入手方法

本モデルはHugging Faceにて単一のsafetensorsファイルとして配布されており、ゲート付きモデルではないため事前のライセンス同意手続きなしでダウンロードできます。

ファイルの配置先や実行環境の準備手順は以下の通りです。

  • モデル本体の配置:
    配布されている fasth3_omniref_qad_nvfp4_comfy.safetensors を取得し、ComfyUIのモデルディレクトリ内に配置します。
ComfyUI/models/diffusion_models/fasth3_omniref_qad_nvfp4_comfy.safetensors
  • 共通コンポーネントの準備:
    モデル本体に加えて、互換性のあるテキストエンコーダ、動画用VAE、音声用VAEを準備する必要があります。これらは FastH3-OmniRef-Comfy リポジトリから取得し、以下の各フォルダへ配置します。
ComfyUI/models/text_encoders/
ComfyUI/models/vae/

映像と同期した音声を出力するためには音声用VAEが必須となります。また、テキストエンコーダはリファレンスビジョン機能に対応している必要があり、利用するGPUに応じた形式を選択することが案内されています。

  • ComfyUI環境の準備:
    MiniMax-H3にネイティブ対応した最新のComfyUIを利用し、コンディショニングには「MiniMax H3 Reference to Video」ノードを使用します。プロンプト内でリファレンスを参照する際は、順序に応じたタグを指定して記述します。

  • ランタイム形式に関する注意点:
    本モデルはComfyUI専用のレイアウトおよびフォーマットで作成されています。FastVideoのローカル推論エンジンで動かす場合は、別リポジトリで提供されているFastVideo形式のモデルである FastVideo/FastH3-OmniRef-NVFP4-QAD を使用する必要があります。利用する実行環境に合わせたチェックポイント形式を選択してください。

関連記事

次に読むなら

出典