「FastH3-Omni-FP8-Comfy」音声付き動画生成モデル:必要VRAM 32GB〜・配布ファイル一覧

「FastH3-Omni-FP8-Comfy」音声付き動画生成モデル:必要VRAM 32GB〜・配布ファイル一覧

基本情報

項目 内容
リポジトリ FastVideo/FastH3-Omni-FP8-Comfy
まとめページ MiniMax-H3 のまとめ(記事14本)
公開元のまとめ MiniMax のモデルとライセンスのまとめ
公開日 2026-10-21
ライセンス minimax-h3-community-license-agreement
配布形式 safetensors
出典の種類 公開元の一次情報(FastVideo公式HFリポジトリで裏付け確認)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

FastVideoより、ComfyUIで直接実行可能なFP8量子化済みの動画・音声生成モデル「FastH3-Omni-FP8-Comfy」が公開されました。

本モデルは、テキストプロンプトに加えて順序付けられた画像・動画・音声のリファレンスを入力することで、同期した32kHzのステレオ音声を含む動画をわずか8サンプリングステップで生成できるモデルです。ベースモデルである「FastVideo-FastH3-Omni-8-Step-V1」をComfyUIネイティブのFP8形式に変換したものであり、ノードベース環境であるComfyUI上での軽快なローカル推論に対応しています。

スペック

モデルカードおよびベースモデルの資料から確認できる仕様は以下の通りです。

  • 入力形式: テキストプロンプト、および順序指定された画像・動画・音声のリファレンス入力に対応しています。元モデルの仕様として、最大9枚の画像、最大3本の動画、最大3件の音声クリップ(合計で最大12件まで)のリファレンスを組み合わせることが可能です。生成には少なくとも1件の画像または動画の入力が必須とされています。動画リファレンスを入力した場合は、そのサウンドトラック情報も引き継がれます。
  • 出力仕様: 24fpsの映像とともに、映像に同期した32kHzステレオ音声が出力されます。対応する解像度や生成尺は実行環境や利用可能なメモリに依存します。
  • サンプリング設定: 推奨される推論ステップ数は8ステップ(8回のTransformer評価)です。ガイダンススケール(guidance)は1.0、Video shiftは12.0、Audio shiftは3.0が指定されています。
  • プロンプト記法: リファレンス素材の参照順序を指定するため、プロンプト内で専用の参照タグを使用します。
  • 必要コンポーネント: 単体の拡散モデル重みだけでなく、ComfyUI用のテキストエンコーダー、ビデオVAE、および同期音声の出力に必須となるオーディオVAEを組み合わせて動作させます。テキストエンコーダーにはリファレンス視覚(reference-vision)のサポートが必要です。
  • 量子化形式: ComfyUIネイティブの量子化レイアウトおよびカーネルを用いたFP8形式(単一ファイルのsafetensors形式)で配布されています。
  • ライセンス条件: 本モデルおよびベースモデルには「minimax-h3-community-license-agreement」が適用されています。

性能・品質

モデルカードにおいて、外部ベンチマークによる客観的な数値スコアや既存モデルとの比較表は公表されていません。

ただし、生成品質と量子化の影響について、公開元より以下の挙動が案内されています。

  • FP8量子化に伴う差異: 本モデルはComfyUIネイティブの量子化レイアウトおよびカーネルを利用しているため、量子化前のBF16版(元モデル)と比較して出力結果に差異が生じる可能性があると説明されています。
  • ランタイムごとの出力差: ComfyUIは独自のモデルレイアウト、サンプラー、実行時カーネルを使用しているため、FastVideo純正の推論環境やUniServeによる実行結果とも出力が異なる場合があるとされています。
  • 高速推論時の品質設計: 元モデルであるFastVideo-FastH3-Omni-8-Step-V1と同様に、8回のTransformer評価という極めて少ないステップ数で同期音声付き動画を出力する設計が維持されています。動画と音声のスケジュール設定およびリファレンス条件付けアテンションにより、わずか8ステップでの高速生成を実現しています。

得意なこと・想定用途

FastH3-Omni-FP8-Comfyは、単一のテキスト指示にとどまらず、複数の画像・動画・音声を複合的なリファレンスとして与え、一貫した世界観や音響を持つ動画を短ステップで素早く生成するワークフローに適しています。

モデルカードの記述およびベースモデルの設計に基づくと、主な得意分野や想定用途は以下の通りです。

  • マルチモーダルなリファレンス入力: 画像だけでなく、過去の動画クリップや音声素材を直接モデルに参照させることができます。最大で画像9枚、動画3本、音声3件(合計12件まで)の参照素材を同時に扱い、動画リファレンスに含まれるサウンドトラック情報も含めた条件付けが可能です。
  • 同期した音響を伴う映像生成: 映像のみを生成して後から効果音やBGMを当てる手法とは異なり、24fpsの映像と同期した32kHzステレオ音声を同時に生成します。映像内の動きや場面に合わせたサウンドトラックをまとめて得たいシナリオに強みがあります。
  • ComfyUIによる視覚的・対話的なプロトタイピング: ComfyUIネイティブのFP8形式として提供されているため、ノードベースのGUI上で他のノード群と組み合わせながら、素材の差し替えやプロンプトの調整を繰り返し試行する用途に最適です。
  • 高速な生成サイクル: 8ステップという極めて短いサンプリングで完結するため、長時間の計算リソースを費やすことなく、手元のワークステーションでアイデアを素早く検証したいクリエイターやエンジニアに向いています。

類似モデルとの違い

過去に当サイトで紹介したFastH3派生モデルとの具体的な違いは以下の通りです。

テキストからの動画生成に焦点を当てていた音声付き動画生成モデル「FastH3 V2」のFP8およびNVFP4版公開では、FastH3 V2のトランスフォーマー本体をベースに単一GPU環境向けのNVFP4やFP8への量子化を行っていましたが、本モデル「FastH3-Omni-FP8-Comfy」は画像・動画・音声といった最大12件のリファレンス素材を複合的に入力できるマルチモーダル条件付けに対応した点が大きな違いです。また、ブロック削減による軽量化を狙った音声付き動画生成モデル「FastH3 Trim」8ステップ版が公開とは異なり、本モデルはトランスフォーマーブロックを間引く軽量化ではなく、ComfyUIのネイティブ実行環境に最適化されたFP8レイアウトの採用とマルチリファレンス機能の実現を主眼としています。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 5090 など 32GB FP8 21.5GB 25.8GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス minimax-h3-community-license-agreement(商用利用不可): MiniMax の MiniMax H3 Community License です。ウェイトの利用を認める地域が EU・英国・韓国・米国に限られ、日本は対象外です(第II条・第V条4)。対象外の地域では個別の許諾が必要です。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(minimax-h3-community-license-agreement)は商用利用を認めていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

配布ファイル

FastVideo/FastH3-Omni-FP8-Comfy で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
fasth3_omniref_fp8_comfy.safetensors 23.05GB

入手方法

FastH3-Omni-FP8-ComfyはHugging Faceにて単一ファイルのsafetensors形式で公開されています。リポジトリは誰でもアクセス可能であり、利用にあたって事前の承認申請やGatedアクセスの解除手続きは不要です。

利用の際は、以下の手順に沿ってComfyUIの所定のディレクトリへファイルを配置します。

  1. メインモデルの配置:
    fasth3_omniref_fp8_comfy.safetensors をダウンロードし、ComfyUIの拡散モデル用ディレクトリに配置します。 text ComfyUI/models/diffusion_models/fasth3_omniref_fp8_comfy.safetensors

  2. 共通コンポーネントの入手と配置:
    本モデルを動作させるには、拡散モデル単体だけでなく、互換性のあるテキストエンコーダー、ビデオVAE、オーディオVAEが別途必要です。これらは FastH3 Omni Comfy から入手し、それぞれ以下のディレクトリに格納します。 – テキストエンコーダー: ComfyUI/models/text_encoders/(手元のGPUがサポートするフォーマットを選択し、reference-vision機能に対応したものを使用します) – VAE: ComfyUI/models/vae/(同期音声を出力するためにオーディオVAEの導入が必須です)

  3. ComfyUI環境の準備:
    MiniMax-H3をネイティブサポートする最新の ComfyUI ビルド環境を使用し、MiniMax H3 Reference to Video 条件付けノードを利用してパイプラインを構築します。

なお、本チェックポイントはComfyUI独自のモデルレイアウトおよびカーネルに準拠した形式です。FastVideo純正の推論ランタイムを使用する場合は、本モデルではなく別途提供されているFastVideo形式のチェックポイントを使用する必要があります。

関連記事

次に読むなら

出典