「invoker-render-1.0」33Bの因果的ストリーミングDiT動画生成モデル:配布ファイル一覧

「invoker-render-1.0」33Bの因果的ストリーミングDiT動画生成モデル:配布ファイル一覧

作例は配布元のモデルカードで公開されています。

基本情報

項目 内容
リポジトリ inclusionAI/invoker-render-1.0
公開元のまとめ inclusionAI(Ant Group) のモデルとライセンスのまとめ
公開日 2026-11-16
ライセンス apache-2.0-and-cc-by-nc-4.0
配布形式 safetensors
論文 arXiv:2611.22925
出典の種類 公開元の一次情報(公式組織アカウントinclusionAIのHFリポジトリ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

inclusionAIは、プロキシ動画と参照画像、テキストプロンプトを入力として高品質な動画をレンダリングする動画生成モデル「Invoker-Render」(invoker-render-1.0)のウェイトを公開しました。本モデルは研究論文「Code World Model 2.0: Towards Infinite Controllable Video Generation」に基づいて開発された因果的ストリーミングDiffusion Transformer(Causal Streaming DiT)です。

Invoker-Renderは、アップストリームのエンジン側でカメラパスやシーンレイアウト、物体の動きといった世界状態を構造プロキシとして保持し、モデル自身が見た目(外観)の生成を受け持ちます。入力として解像度1344×768のRGB初期画像(外観参照画像)1枚、24 FPSのプロキシ動画、およびテキスト指示を受け取り、4ステップの因果ストリーミング推論によって制御された連続的な動画を出力します。

スペック

公開資料およびモデルカードに記載されているモデルの仕様は以下の通りです。

  • パラメータ数:33.12B(約331億パラメータ)。リポジトリ直下のメインウェイトはFP32形式で保存されており、量子化は施されていません。
  • アーキテクチャ:因果的ストリーミングDiT(Causal Streaming DiT)を採用しています。設定ファイル(config.json)におけるアーキテクチャ識別子は MiniMaxH3Transformer3DModel となっています。
  • 入力仕様:1344×768のRGB初期画像1枚、24 FPSの構造プロキシ動画、テキストプロンプトを入力として受け付けます。ファイル推論を実行する場合は、17*N+5 フレーム(最低39フレーム)のプロキシ動画フレームが必要です。なお、24 FPSは生成動画のタイムラインのフレームレートであり、推論処理自体のスループットを示すものではありません。
  • ステップ数:因果的な4ステップ(four-step)によるストリーミング生成に対応しています。
  • 制御プロキシの表現:セマンティックマップ、疎な3Dバウンディングボックス、被写体マスク、陰影付きジオメトリ、骨格付きボックスなど、粗いレイアウトから詳細な関節ジオメトリまで多様な粒度の制御情報を入力できます。
  • 付属ウェイト:リポジトリ直下のメイン因果ウェイトのほかに、MiniMax-H3をベースモデルとした双方向ティーチャーモデルのLoRAウェイト(bidirectional_lora/teacher-live.safetensors)が同梱されています。ただし、これはリポジトリ直下の因果ウェイトとは別モデルであり、重ねて適用することは推奨されていません。
  • ライセンス条件:モデルカード上のライセンス表記は apache-2.0-and-cc-by-nc-4.0 と記載されています。商用利用の可否など詳細な条件については、配布元の各ライセンス規約を確認する必要があります。

性能・品質

Invoker-Renderの性能や生成品質に関しては、併せて公開された論文「Code World Model 2.0」の中で検証結果が報告されています。

学習には、位置合わせされた約200時間の多様な粒度を含むコーパス(multi-granularity corpus)が使用されています。モデルの学習手法として「Progressive Forcing(ProForcing)」が導入されており、まず因果予測器を学習させた上で、学習動画の履歴を利用して4ステップのレンダラーへと蒸留し、その後自己生成ロールアウトへと移行する手法が採られています。これにより、ステップ数の圧縮と長時間のロールアウトに伴う品質のドリフト(崩れ)を抑える構成を実現しています。

論文内の実験では、多様なプロキシの種類や粒度、カメラパスにわたって柔軟な制御が可能であることが示されており、最近のストリーミングベースライン手法と比較して一貫した性能向上が確認されていると報告されています。また、固定された外観アンカーと境界付きの履歴ウィンドウを組み合わせることで、プロキシフレームが入力され続ける限りセッションを継続でき、シーンや被写体の外観を保ったまま30分間に及ぶレース動画の安定したロールアウト生成が可能であることが示されています。

得意なこと・想定用途

Invoker-Renderは、上流のシミュレータやゲームエンジンが管理する世界状態(ワールドステート)を受け取り、見た目(テクスチャやライティングなどの外観)を高品質にレンダリングする用途に特化しています。3Dグラフィックスパイプラインにおけるレンダラーのように動作し、空間の幾何構造やカメラの動きと、質感やキャラクターの外観表現を完全に切り離して扱える点が大きな特徴です。

具体的には、以下のような表現やタスクにおいて真価を発揮します。

  • 多様な幾何プロキシに基づく制御:セマンティックマップ、粗い3Dバウンディングボックス、被写体マスク、陰影付きジオメトリ(シェーデッドジオメトリ)、関節骨格(スケルトン)付きボックスなど、粗いレイアウトから緻密な関節構造まで幅広い粒度のプロキシを入力として受け付けます。プロキシの詳細度に応じて、幾何学的な拘束条件を正確に反映した動画を生成できます。
  • 長時間のストリーミング動画生成:固定された外観アンカー画像と一定幅の履歴ウィンドウ(bounded history window)を維持することで、プロキシフレームが入力され続ける限りセッションを途切れさせずにレンダリングを継続できます。論文では30分間に及ぶレース動画の自己生成ロールアウトにおいても、シーンや被写体の外観が崩れずに維持されることが示されています。
  • インタラクティブなワールドモデル構築:上流の物理エンジンやコードベースのワールドモデルと組み合わせることで、リアルタイムなユーザー操作に応じたカメラパスや物体の動きを即座にプロキシ化し、それを4ステップのストリーミング推論で視覚化するリアルタイム対話セッションの構築に適しています。
  • オフライン映像制作とクリップ作成:リアルタイム対話用途だけでなく、あらかじめ設計されたカメラワークやキャラクターのレイアウトアニメーションをもとに、高品質な完成映像を書き出すレンダリングパイプラインとしても利用できます。

配布ファイル

inclusionAI/invoker-render-1.0 で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
bidirectional_lora/teacher-live.safetensors 2.48GB
diffusion_pytorch_model-*-of-00029.safetensors 132.49GB(29分割)

入手方法

Invoker-RenderのウェイトはHugging Faceのリポジトリ(inclusionAI/invoker-render-1.0)にて公開されており、ゲートによるアクセス制限は設定されていないため、利用規約を確認した上でそのままダウンロードできます。

配布されているウェイトの構成は以下の通りです。

  • リポジトリ直下に因果的ストリーミングDiTのメインウェイトがFP32精度のsafetensors形式で格納されています(シャードのインデックスファイルは diffusion_pytorch_model.safetensors.index.json です)。
  • サブディレクトリ bidirectional_lora/teacher-live.safetensors には、MiniMax-H3をベースとした双方向ティーチャーモデルのLoRAウェイトが同梱されています。これはリポジトリ直下の因果ウェイトとは異なるモデル向けであるため、メインの因果ウェイトには重ねて適用しないよう注意喚起されています。
  • 本リポジトリにはモデル本体のDiTウェイトのみが含まれており、VAE、Qwen、因果デコーダ、silence tensors、および推論用バンドルは含まれていません。実行にあたっては、対応する各種アセットを別途準備する必要があります。

推論の実行には、公式のコンパニオンリポジトリである CodeWorldModel を使用します。このコードベースはMiniMax-H3、SGLang、およびSGLang-Omniをベースに構築されています。

導入と実行の手順は以下の流れとなります。

  1. CodeWorldModel リポジトリを取得し、同梱されている README.md および docs/INFERENCE.md の案内に従って推論環境をセットアップします。
  2. 別途必要なVAEやテキストエンコーダーなどの外部アセットを揃え、推論用バンドルを構成します。
  3. スクリプト invoker_render.py を実行してプロキシ動画ファイルからのバッチ生成を行うか、WebSocketセッションサービスを立ち上げて対話型レンダリングを開始します。

なお、付属の推論コードではブラウザクライアントやファイルクライアント、WebSocket接続によるセッションサービスが提供されています。デフォルトの production プロファイルでは、1ノードあたり8基のNVIDIA GPUを使用するマルチGPU構成が前提とされています。推論実行時は、解像度1344×768のRGB初期画像、24 FPSのプロキシ動画、テキスト指示を入力として与える必要があります。ファイル推論を行う際は、プロキシ動画のフレーム数が 17*N+5(最低39フレーム)の条件を満たしている必要がある点にご留意ください。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス apache-2.0-and-cc-by-nc-4.0: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(apache-2.0-and-cc-by-nc-4.0)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

関連記事

次に読むなら

出典