「FastH3-Omni-Comfy」画像・音声参照の動画音声生成モデル:必要VRAM 80GB〜・配布ファイル一覧

「FastH3-Omni-Comfy」画像・音声参照の動画音声生成モデル:必要VRAM 80GB〜・配布ファイル一覧

基本情報

項目 内容
リポジトリ FastVideo/FastH3-Omni-Comfy
まとめページ MiniMax-H3 のまとめ(記事14本)
公開元のまとめ MiniMax のモデルとライセンスのまとめ
公開日 2026-10-20
ライセンス minimax-h3-community-license-agreement
配布形式 safetensors
出典の種類 公開元の一次情報(FastVideo公式リポジトリによる一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

FastVideoより、ComfyUI環境に対応した動画・音声統合生成モデル「FastVideo/FastH3-Omni-Comfy」が公開されました。本モデルは、テキストプロンプトに加えて、順序を指定した画像、動画、音声といった複数の参照(リファレンス)素材を入力し、それらの素材に合致した映像と時間軸が同期した音声を同時に生成する「Reference-to-Video」形式の生成モデルです。

公開されたモデル群は、8ステップでの高速推論に対応した元モデル「FastVideo/FastVideo-FastH3-Omni-8-Step-V1」(ルートベースモデル: MiniMaxAI/MiniMax-H3)をベースとして構築されています。ComfyUIの環境で直接読み込み・推論が行える単一ファイル形式(safetensors)で配布されており、標準的な精度を保持するBF16版に加えて、メモリ効率に優れたINT8 ConvRot版の拡散モデルが選択可能です。

スペック

公開元リポジトリおよび元モデル「FastVideo/FastVideo-FastH3-Omni-8-Step-V1」の資料から確認できる主要なスペックと各種設定値は以下の通りです。

  • ベースモデル情報: 元モデルはFastVideo/FastVideo-FastH3-Omni-8-Step-V1であり、その根本となるルートベースモデルはMiniMaxAI/MiniMax-H3です。
  • 配布モデル・ファイル形式:
  • diffusion_models/fasth3_omniref_8step_pruned_bf16.safetensors(BF16精度の拡散モデル) – diffusion_models/fasth3_omniref_8step_pruned_int8_convrot.safetensors(INT8 ConvRot精度の拡散モデル)
  • 入力仕様:
  • テキストプロンプトによる指示を受け付けます。 – 参照(リファレンス)入力: 画像(最大9枚)、動画(最大3本)、音声(最大3件)の各種素材を指定可能です。全体で合計最大12件までの参照に対応します。生成を行うには、少なくとも1つ以上の画像または動画の参照指定が必須となります。 – プロンプト内タグ指定: 参照素材の順序を指示するため、テキストプロンプト内で <image_1>、<video_1>、<audio_1> といった対応タグを記述して条件付けを行います。なお、動画ファイルを参照として入力した場合は、その動画に含まれる音声トラックも同時に参照データとして組み込まれます。
  • 出力仕様:
  • 動画フレームレート: 24 FPS – 音声出力: 32 kHzのステレオ音声。映像の展開に対して時間が同期された状態で出力されます。 – 生成サイズ・長尺上限: 利用する実行環境や利用可能なVRAM容量に依存します(元モデルのプロファイル設定では480p解像度が標準値となっています)。
  • 推奨推論設定:
  • 推論ステップ数: 8ステップ(8回のトランスフォーマー評価により生成を完了します) – ガイダンススケール(guidance): 1.0 – スケジュールシフト値: 動画側シフト(Video shift)は12.0、音声側シフト(Audio shift)は3.0
  • 必要コンポーネント構成(ComfyUI用):
  • テキストエンコーダー: 参照素材の解釈に必要なVision Towerを含んだQwen3-VL 32Bベースの構成です。環境に応じて qwen3vl_32b_minimax_h3_bf16.safetensors、qwen3vl_32b_minimax_h3_int8_convrot.safetensors、qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors のいずれかを選択します(NVFP4版のアクセラレーション機能の利用にはBlackwell世代のハードウェアが必要です)。 – 動画VAE: minimax_h3_video_vae_fp16.safetensors または minimax_h3_video_vae_int8_convrot.safetensors を配置します。 – 音声VAE: 同期された音声出力を行うために必須となる minimax_h3_audio_vae_fp32.safetensors を配置します。 – ノード要件: MiniMax-H3にネイティブ対応したComfyUI環境および「MiniMax H3 Reference to Video」コンディショニングノードの使用が想定されています。
  • ライセンス条件: minimax-h3-community-license-agreement(ライセンス表示: other)に準拠します。利用条件や制限事項については当該ライセンス規約をご確認ください。

得意なこと・想定用途

本モデルは、テキストによるプロンプト指示だけに頼らず、画像・動画・音声といった複数のメディア素材を参照データとして読み込ませ、それらの要素を反映させた映像と同期音声を生成する「Reference-to-Video」タスクに特化しています。

具体的には、最大9枚の画像、最大3本の動画、最大3件の音声(合計で最大12件まで)を参照入力として取り込むことが可能です。動画参照を入力した場合はその動画に含まれる音声トラックも統合して参照されます。テキストプロンプト内で <image_1>、<video_1>、<audio_1> といった対応タグを用いて素材の順序と関係性を指定することで、既存の素材の特徴を保持したまま新たな動画と32 kHzのステレオ音声を生成できます。

このため、以下のような用途に適しています。
– キャラクターや特定オブジェクトのビジュアル表現、あるいは音響要素を一貫して維持しながら、新しいシーンやアクションを展開する動画の生成
– 既存の短尺動画や音声素材をベースにした場面展開やカットの作成
– ComfyUIのグラフィカルなノードベースUIを利用した、直感的なパイプラインでのマルチモーダル動画・音声生成

また、元モデルである FastVideo-FastH3-Omni-8-Step-V1 の性能に基づき、僅か8ステップのトランスフォーマー評価で映像と同期音声を同時生成できるため、生成スピードとクオリティを両立させたいワークフローに向いています。さらに、BF16形式だけでなくINT8 ConvRot量子化形式が用意されていることで、使用する環境や計算資源に応じた柔軟な運用が可能です。

類似モデルとの違い

過去に当サイトで紹介した音声付き動画生成モデル「FastH3 V2」のFP8およびNVFP4版公開や、トランスフォーマーブロックを削減して軽量化を図った音声付き動画生成モデル「FastH3 Trim」8ステップ版が公開は、主にテキストプロンプトのみから音声付き動画を生成するText-to-Videoタスクや、モデル構造の軽量化・高速化を中心に設計されていました。

これらに対して今回のFastH3 Omni ComfyUI対応モデルは、テキストに加えて画像・動画・音声といった各種参照素材を複数組み合わせて条件付けを行う「Reference-to-Video」機能を大きな特徴としています。単にテキストから映像・音声を生成するだけでなく、具体的な参照入力(最大12件)を指定して一貫性のある映像表現や音声の同期を実現できる点が従来のモデルと大きく異なります。また、ComfyUI専用のノード構成や各種VAE・テキストエンコーダーの分割配置が整えられており、ノードベースでのビジュアルな操作環境にそのまま組み込める設計となっている点も大きな違いです。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
A100 / H100 80GB クラス そのままの精度(transformer_ref) 65.3GB 78.4GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス minimax-h3-community-license-agreement(商用利用不可): MiniMax の MiniMax H3 Community License です。ウェイトの利用を認める地域が EU・英国・韓国・米国に限られ、日本は対象外です(第II条・第V条4)。対象外の地域では個別の許諾が必要です。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(minimax-h3-community-license-agreement)は商用利用を認めていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

配布ファイル

FastVideo/FastH3-Omni-Comfy で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
diffusion_models/fasth3_omniref_8step_pruned_bf16.safetensors 44.24GB
diffusion_models/fasth3_omniref_8step_pruned_int8_convrot.safetensors 22.21GB
text_encoders/qwen3vl_32b_minimax_h3_bf16.safetensors 51.51GB
text_encoders/qwen3vl_32b_minimax_h3_int8_convrot.safetensors 27.14GB
text_encoders/qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors 15.69GB
vae/minimax_h3_audio_vae_fp32.safetensors 605MB
vae/minimax_h3_video_vae_fp16.safetensors 5.21GB
vae/minimax_h3_video_vae_int8_convrot.safetensors 2.81GB

入手方法

本モデル群はsafetensors形式で配布されており、Hugging Faceのリポジトリ FastVideo/FastH3-Omni-Comfy から入手することができます。入手にあたって事前の利用規約同意手続き(Gatedモデル)は必要ありませんが、配布にあたっては minimax-h3-community-license-agreement ライセンスが適用されます。

導入の際は、MiniMax-H3へのネイティブ対応を含んだ最新バージョンのComfyUIを使用し、リポジトリ内の各種ファイルを対応するフォルダーへ配置します。具体的な配置先のディレクトリ構造は以下の通りです。

  1. 拡散モデル(Diffusion Models)
    以下のいずれかのsafetensorsファイルを選択し、ComfyUI/models/diffusion_models/ ディレクトリに配置します。 – fasth3_omniref_8step_pruned_bf16.safetensors(BF16精度モデル) – fasth3_omniref_8step_pruned_int8_convrot.safetensors(INT8 ConvRot精度モデル)

  2. テキストエンコーダー(Text Encoders)
    リポジトリの text_encoders/ フォルダーより選択し、ComfyUI/models/text_encoders/ ディレクトリに配置します。参照素材の処理に必要なVision Towerが含まれています。 – qwen3vl_32b_minimax_h3_bf16.safetensors – qwen3vl_32b_minimax_h3_int8_convrot.safetensors – qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors(BlackwellハードウェアでのNVFP4アクセラレーション用)

  3. VAEモデル(VAE)
    リポジトリの vae/ フォルダーより取得し、ComfyUI/models/vae/ ディレクトリに配置します。同期音声を生成するためには音声用VAEの配置が必須となります。 – 動画用VAE: minimax_h3_video_vae_fp16.safetensors または minimax_h3_video_vae_int8_convrot.safetensors – 音声用VAE: minimax_h3_audio_vae_fp32.safetensors

実行時には、ComfyUI上で「MiniMax H3 Reference to Video」コンディショニングノードを使用し、テキストエンコーダー、動画VAE、音声VAEの各コンポーネントを適切に接続して推論を行います。

関連記事

次に読むなら

出典