「FastH3-OmniRef-Comfy」音声付き動画生成モデル:配布ファイル一覧

「FastH3-OmniRef-Comfy」音声付き動画生成モデル:配布ファイル一覧

基本情報

項目 内容
リポジトリ FastVideo/FastH3-OmniRef-Comfy
まとめページ MiniMax-H3 のまとめ(記事14本)
公開元のまとめ MiniMax のモデルとライセンスのまとめ
公開日 2026-10-20
ライセンス minimax-h3-community-license-agreement
配布形式 safetensors
出典の種類 公開元の一次情報(公式Hugging Face組織アカウントによる公開)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

FastVideoより、テキストプロンプトおよび画像・動画・音声といったマルチモーダルの参照素材(リファレンス)から、同期した動画と音声を生成する「FastH3 OmniRef」のNative ComfyUI向けパッケージ『FastVideo/FastH3-OmniRef-Comfy』が公開されました。

本モデルは、8フォワード(8ステップ)で動作するFastH3 OmniRefスチューデントモデルの正規チェックポイントから派生したプライベートリリース候補(private release candidate)です。V2形式のComfyUIパッキング技術を採用しており、単一のディフュージョンモデルファイルとして提供されています。共有のQwen3-VLテキストエンコーダーや動画・音声それぞれのVAEと組み合わせて使用する構成となっています。

スペック

公開された資料および元モデル(MiniMax-H3)の情報から確認できる仕様は以下の通りです。

  • 入力条件: テキストプロンプト、ならびに画像(最大9枚)、動画(最大3本・各2〜15秒)、音声(最大3本・各2〜15秒)の参照素材。すべての参照素材の合計ファイル数は最大12個まで対応。プロンプト内で参照を識別する指定タグを使用
  • アーキテクチャ: 50ブロックで構成されるトランスフォーマー、2つのトークンリファイナーブロック、32個のPDDヘッドをすべて保持。rank-8、1025ポイントのAdaLNタイムステップカーブを採用
  • 推論設定: 8フォワード(8ステップ)、guidance 1、video shift 12、audio shift 3
  • 関連コンポーネント:
  • テキストエンコーダー: Qwen3-VL 32Bベース(参照条件付け用のビジョンタワーを含む) – 動画VAE: 空間16倍・時間4倍の圧縮、24ラテントチャンネル。参照エンコーダーおよび36層デコーダーを含む – 音声VAE: 32 kHzステレオ対応(左右チャンネルを独立して40 Hzのラテントトークンへ圧縮)
  • 元モデル(MiniMax-H3)の出力仕様:
  • 出力内容: 同期された動画および32 kHzステレオ音声 – 解像度: デフォルトで短辺768p(API経由のH3-Regenerate-2K等で2K生成に対応) – 出力尺: 4〜15秒 – フレームレート: 24 FPS – 対応アスペクト比: 21:9、16:9、4:3、1:1、3:4、9:16などの多種多様なアスペクト比に対応 – 対応言語: アラビア語、中国語、英語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語の11言語を安定サポート
  • ライセンス: モデル重みには「MiniMax-H3 Community License」が適用されます。なお、付属するComfyUI由来の変換コードおよびアップストリームツールはGPL-3.0ライセンスとなっています

性能・品質

本リポジトリで提供されるFastH3 OmniRefのComfyUI版チェックポイントについて、モデルカードではGPU上での推論動作、量子化カーネルの同等性、およびエンドツーエンドでの最終的な出力品質に関しては未検証であると明記されています。

変換プロセスの正確性を確認するためのCPU回帰テスト(厳密なモデルロード、QKV順序、SwiGLU出力、PDD再構成など6項目)は合格しています。新しく変換されたBF16版のカーブフィットにおいては、相対残差が0.0001013、129個のホールドアウトされたタイムステップとモジュレーション射影ごとのサンプリングにおいて最大の相対L2誤差が0.0003073と報告されています。ただし、これらは数値的なモジュレーションの検証結果であり、実際の動画品質スコアを表すものではありません。

また、Native ComfyUIでの実行環境は、元のFastVideo推論プロトコルといくつかの挙動の違い(PDDにおけるユニットグリッドの統合や、128トークンのタイリングに対し64トークンのビデオキューブを使用する点など)が存在します。そのため、元となるFastVideoのベンチマーク数値をそのまま本パッケージに適用することは避けるよう注意が促されています。

なお、元モデルであるMiniMax-H3の公式カードでは、768p解像度におけるテキストからの音声付き動画生成(T2VA)、初コマ/終コマ指定生成(FL2VA)、マルチモーダル参照生成(Ref2VA)の各ケースについて再現用のスクリプトと生成結果のビデオファイルが提示されており、多様な入力条件で高品質な同期音声付き動画が生成できることが示されています。

得意なこと・想定用途

本モデルは、テキストプロンプトに加えて画像、動画、音声といった複数のメディアを複合的に参照素材(リファレンス)として入力し、それらに同期した高品質な動画と音声を生成する用途に適しています。

具体的には、最大9枚の画像、最大3本(各2〜15秒)の動画、最大3本(各2〜15秒)の音声を自由に組み合わせた合計12ファイルまでの参照素材を読み込ませることができます。テキストプロンプト内で <image_1> や <video_1>、<audio_1> といった識別タグを記述することで、特定の画像や動画のキャラクター、背景、構図、音声要素を柔軟に制御した動画生成が可能です。

また、元モデルであるMiniMax-H3が持つ優れたマルチモーダル理解力と同期音声生成能力を背景に、日本語を含む11言語の安定した対話音声付き動画の作成にも対応しています。わずか8ステップの推論(8フォワード)で動作するため、推論時間を短縮しながら高度な参照指定を試みたいクリエイターや研究者に向いています。さらに、Native ComfyUIの MiniMaxH3ReferenceToVideo ノードに対応しているため、ComfyUI上の視覚的なワークフローへ容易に統合して活用できます。

類似モデルとの違い

当サイトで過去に紹介した音声付き動画生成モデル「FastH3 V2」のFP8およびNVFP4版公開は、主にテキストからの音声付き動画生成(Text-to-Video)における軽量な量子化(NVFP4/FP8)と単一GPUでの高速推論を重視したモデルでした。これに対し今回の「FastH3 OmniRef」は、テキストだけでなく画像・動画・音声のマルチモーダルな参照素材を高度に制御する機能(Reference-to-Video)に特化している点が決定的に異なります。

また、トランスフォーマーのブロック数を削って軽量化を図った音声付き動画生成モデル「FastH3 Trim」8ステップ版が公開では、品質とのトレードオフが生じることが明示されていました。一方、本パッケージで提供されるFastH3 OmniRefは、50個あるトランスフォーマーブロックや32個のPDDヘッドをすべて維持したままComfyUI環境へ適用されており、元モデルの表現力を極力損なわない設計となっている点が特徴です。

配布ファイル

FastVideo/FastH3-OmniRef-Comfy で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
diffusion_models/fasth3_omniref_8step_pruned_bf16.safetensors 44.24GB
diffusion_models/fasth3_omniref_8step_pruned_int8_convrot.safetensors 22.21GB
text_encoders/qwen3vl_32b_minimax_h3_bf16.safetensors 51.51GB
text_encoders/qwen3vl_32b_minimax_h3_int8_convrot.safetensors 27.14GB
text_encoders/qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors 15.69GB
vae/minimax_h3_audio_vae_fp32.safetensors 605MB
vae/minimax_h3_video_vae_fp16.safetensors 5.21GB
vae/minimax_h3_video_vae_int8_convrot.safetensors 2.81GB

入手方法

本モデルのチェックポイントおよび関連ファイルは、Hugging Faceの FastVideo/FastH3-OmniRef-Comfy リポジトリにて safetensors 形式で配布されています。

入手した各ファイルは、使用するComfyUIの以下のディレクトリに配置して利用します。

  • ディフュージョンモデル(ComfyUI/models/diffusion_models/):
  • fasth3_omniref_8step_pruned_bf16.safetensors(BF16版) – fasth3_omniref_8step_pruned_int8_convrot.safetensors(INT8 ConvRot版)
  • テキストエンコーダー(ComfyUI/models/text_encoders/):
  • qwen3vl_32b_minimax_h3_bf16.safetensors – qwen3vl_32b_minimax_h3_int8_convrot.safetensors – qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors
  • VAE(ComfyUI/models/vae/):
  • minimax_h3_video_vae_fp16.safetensors(または int8_convrot 版) – minimax_h3_audio_vae_fp32.safetensors(音声用)

実行の際は、ディフュージョンモデル、テキストエンコーダー、動画VAEからそれぞれ1つずつ選択し、音声VAEと組み合わせて使用します。Native ComfyUIに標準搭載されている MiniMaxH3ReferenceToVideo コンディショニングノードを接続し、プロンプト内で参照タグを指定して推論を行います。

なお、FP8およびNVFP4-QAD形式のディフュージョンモデル用チェックポイントは、Native ComfyUI側で数値的挙動を保持するためのランタイムサポートが不足しているため、現時点では本パッケージに含まれていません。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス minimax-h3-community-license-agreement(商用利用不可): MiniMax の MiniMax H3 Community License です。ウェイトの利用を認める地域が EU・英国・韓国・米国に限られ、日本は対象外です(第II条・第V条4)。対象外の地域では個別の許諾が必要です。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(minimax-h3-community-license-agreement)は商用利用を認めていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

関連記事

次に読むなら

出典