「StreamRender-H3」リアルタイム動画生成モデル:必要VRAM 8GB〜・配布ファイル一覧

「StreamRender-H3」リアルタイム動画生成モデル:必要VRAM 8GB〜・配布ファイル一覧

基本情報

項目 内容
リポジトリ Efficient-Large-Model/StreamRender-H3
公開元のまとめ Efficient Large Model(NVIDIA・MIT) のモデルとライセンスのまとめ
公開日 2026-10-11
ライセンス minimax-h3-community
配布形式 safetensors / PyTorch (bin)
出典の種類 公開元の一次情報(NVIDIA公式のHFアカウントが公開しているため一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Efficient-Large-Modelは、リアルタイムなストリーミング拡散レンダリングを行うモデル「StreamRender-H3」を公開しました。このシステムは、対話型の仮想世界を「Code Game Engine」と「Streaming Diffusion Render」の2つの役割に分割して処理する構成を採用しています。

ゲームエンジン側がコード上で物理演算やマップなどの世界の状態を管理し、フレームごとにセマンティックマップを配信します。StreamRender-H3は、MiniMax-H3 Ref2VAをベースに構築された2ステップのストリーミング動画生成モデルであり、リファレンス画像とテキストプロンプトによって設定された外観を保ちながら、入力されたセマンティックマップをリアルタイムにフォトリアリスティックな動画へとレンダリングして出力します。

スペック

StreamRender-H3の仕様として公開されている項目は以下の通りです。

  • コンポーネント構成: バックボーンとなるレンダラーと、高速な因果関係VAE(Fast Causal H3 VAE)デコーダーの2つの学習済みモデルで構成されています。
  • レンダラーのアーキテクチャ: MiniMax-H3 Ref2VAをベースにした全50層のEMAバックボーンであり、LoRAがあらかじめマージされています。
  • デコーダーのアーキテクチャ: 自己改善エージェントループによって構築された、枝刈り(pruned)および蒸留済みの24層Causal ViTデコーダーを採用しています。
  • 出力解像度: 720pに対応しています。
  • デコード処理単位: 1回の呼び出しあたり2つの利用可能な潜在フレーム(latent frames)を処理します。
  • デノイジングステップ数: 蒸留されたスチューデントモデルにより、1チャンクあたり2回のデノイジングステップを実行します。
  • ストリーミングポリシー: S=2 / W=2 / C=2 のストリーミングポリシーを採用しています。
  • コンテキスト参照方式: デコーダーは未来の潜在フレームを参照せず、キャッシュされた過去のコンテキストのみを利用して因果的に処理します。
  • ライセンス: minimax-h3-community ライセンスのもとで公開されています。

性能・品質

公開リポジトリでは、提供される重みコンポーネントの内訳として以下の情報が提示されています。

Directory Model Checkpoint
backbone/ Streaming H3 renderer, full 50-layer EMA backbone with LoRA merged 1008b / step224
causal_decoder/ Fast Causal H3 VAE, a pruned and distilled 24-layer causal decoder step6000 / 20261005-v1

公開元が公表した処理性能によると、拡散レンダラー部分は8基のGB200 GPU環境において、ストリーミング1ステップあたり217.96ミリ秒の処理時間を記録しています。これはPyTorchベースラインと比較して3.67倍の高速化を達成していると説明されています。

また、Fast Causal H3 VAEデコーダーについては、1基のGB200 GPU環境において、720p解像度の潜在フレーム2枚分を24ミリ秒でデコード可能であると報告されています。未来のフレームを先読みしない因果的なデコードアーキテクチャと蒸留技術を組み合わせることにより、対話型アプリケーションに適した低遅延なフレーム生成を実現しています。

得意なこと・想定用途

StreamRender-H3は、ゲームやシミュレータといった対話型環境において、コード側で計算された世界の状態を低遅延で写実的な動画へとストリーミング変換する用途に特化しています。

本モデルでは、マップの形状や物理挙動、ルールといった論理的な世界の状態管理を「Code Game Engine」に任せ、エンジン側からフレーム単位でストリーミング配信されるセマンティックマップを入力として受け取ります。そして、あらかじめ与えられた1枚のリファレンス画像とテキストプロンプトに基づいて全体のビジュアルスタイルを統一しながら、プレイヤーの操作(走行や移動など)に応じたフォトリアリスティックな映像をインタラクティブにレンダリングし続けることが可能です。

タグ情報にも「video-generation」「streaming」「interactive」「world-model」とあるように、従来のバッチ処理的なテキスト動画生成とは異なり、操作への即応性が求められるワールドモデルやインタラクティブなコンテンツ制作基盤としての活用が強く想定されています。未来フレームに依存しない因果的(Causal)な処理パイプラインを採用しているため、ユーザーの入力に応じて変化する動的なシーン展開を破綻なくストリーミング出力することを得意としています。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB そのままの精度(causal_decoder) 6.0GB 7.2GB
A100 / H100 80GB クラス そのままの精度(backbone) 61.7GB 74.1GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors / PyTorch (bin) です。

ライセンス minimax-h3-community: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(minimax-h3-community)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

配布ファイル

Efficient-Large-Model/StreamRender-H3 で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
backbone/model-*-of-00009.safetensors 66.28GB(9分割)
backbone/original_header.bin 0MB
causal_decoder/causal_vit24_step6000.safetensors 6.47GB

入手方法

StreamRender-H3のモデル重みは、Hugging Faceリポジトリから入手できます。ゲート付きモデルではないため、個別の利用申請やライセンス承認を行わずにダウンロード可能です。配布形式はsafetensors形式となっています。

重みを取得する際は、huggingface_hub ライブラリの snapshot_download を利用して以下のように実行します。

from huggingface_hub import snapshot_download
snapshot_download("Efficient-Large-Model/StreamRender-H3",
                  local_dir="./StreamRender-H3")

ダウンロードにはおよそ72.75 GBの容量を要します。配布されているレンダラーの重みはオリジナルのテンソル値を維持したまま9個のsafetensorsシャード(分割ファイル)として保存されていますが、現在のランタイムは1つの結合されたバックボーンファイルを要求します。そのため、ダウンロード後に以下のスクリプトを実行してファイルの再構築を行う必要があります。

python StreamRender-H3/download_assets.py

この再構築処理には追加で66.28 GBのディスク領域が必要となり、処理中にオリジナルのSHA-256ハッシュ検証が自動的に行われます。ファイルの整合性確認用として、リポジトリ内には SHA256SUMS および inventory.json も提供されています。

環境構築と推論の実行には、NVlabs/Sana — StreamRender-H3 で公開されているランタイムコードを利用します。ランタイムの設定ファイル(マニフェスト)では、以下のように結合済み重みとデコーダーのパスを指定してください。

  • backbone エントリ: backbone/1008b_step224_backbone_ema_merged.safetensors
  • causal_decoder エントリ: causal_decoder/causal_vit24_step6000.safetensors

今回公開されたリポジトリに含まれているのは2つの学習済みモデルコンポーネント(レンダラーと因果的デコーダー)のみです。その他のランタイム実行に必要な依存関係については、ランタイムのREADMEや configs/assets.example.json の案内に従って別途用意する必要があります。また、詳細なプロジェクト情報は StreamRender-H3 プロジェクトページ にまとめられています。

関連記事

次に読むなら

出典