「PAN2」物理変化を予測するワールドモデル:ComfyUIの配置先

「PAN2」物理変化を予測するワールドモデル:ComfyUIの配置先

基本情報

項目 内容
リポジトリ Comfy-Org/PAN2
公開元のまとめ IFM(MBZUAI) のモデルとライセンスのまとめ
公開日 2026-11-15
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(Comfy-Org公式リポジトリで裏付けあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Comfy-Orgより、ワールドモデル「PAN2」をComfyUI環境で利用できるように再パッケージ化したモデルファイルが公開されました。ベースとなっている元モデルはMBZUAIのInstitute of Foundation Models(IFM)が開発した「IFM/PAN2」です。

本モデルはテキストや画像(開始フレーム)を入力として受け取り、指定された行動によって世界がどのように変化するかを予測し、最大20秒の動画として出力する生成モデルです。行動の候補を実行する前にその結果をシミュレーションして最適な選択を行う「シミュレーティブ推論(simulative reasoning)」などを支える汎用ワールドモデルとして設計されています。

スペック

元モデルである「IFM/PAN2」および今回ComfyUI向けに整理されたファイルのスペックは以下の通りです。

  • パラメータ数・アーキテクチャ: 知覚的推論バックボーンとして29B(約292億)パラメータのMMDiT(Multimodal Diffusion Transformer)を採用しています。アーキテクチャ全体としては、大規模言語モデルによる「概念的推論」と潜在拡散モデルによる「知覚的推論」を組み合わせたGenerative Latent Prediction(GLP)フレームワークに基づいています。テキストエンコーダーにはQwen3.5-9B、VAEデコーダーにはWan 2.2が組み合わされます。
  • 入力と対応タスク: Text-to-Video(T2V)およびImage-to-Video(I2V)に対応しています。構造化されたワールドステートのキャプション(時間軸に沿ったイベント記述)と、I2Vの場合は開始フレームとなる画像を入力します。
  • 出力の仕様: 解像度は704×1248ピクセル、フレームレートは24 fpsです。生成フレーム数は継続時間の指定がない場合で241フレーム(約10秒)、最大で481フレーム(約20秒)の動画を出力します。
  • 推奨サンプリング設定: ステップ数は50、フローシフト(flow shift)は9、Classifier-free guidance(CFG)スケールは毎ステップ一律で2.5が指定されています。シード値の標準は123、トランスフォーマーの精度はBF16が推奨されています。I2V実行時は、時間方向の潜在変数0(temporal latent 0)においてガイダンスなしのポジティブ予測を使用します。
  • ライセンスの条件: Apache-2.0ライセンスが適用されています。実在する人物のなりすましやディープフェイクの作成、誤情報の拡散、未成年者の性的コンテンツや暴力的なコンテンツの生成、知的財産権の侵害、人命や安全に関わる意思決定システムへの無検証での組み込みなどは想定外の用途(Out-of-Scope Uses)として明示されています。また、公開元ではリクエストを事前検査する「Qwen3Guard-Gen-4B」と生成動画のフレームを事後検査する「Q16」を組み合わせた「pan2-guardrail」の併用を強く推奨しています。

性能・品質

元モデル「IFM/PAN2」のモデルカードで公表されているチェックポイントの仕様とワークフローの構成は以下の通りです。

→ 横にスクロールできます

Checkpoint Supported Tasks Input Conditions Output Precision
PAN 2 diffusion backbone (IFM/PAN2) Text-to-video (t2v), Image-to-video (i2v) Structured world-state caption; optional first frame Video via the VAE decoder, 704×1248 at 24 fps, up to 20 s BF16

また、ローカル環境でシミュレーターを動作させる際の推奨コントロール設定として、以下の値が示されています。

Control Value
Steps / flow shift 50 / 9
Classifier-free guidance 2.5 on every step
Resolution / frame rate 704 x 1248 at 24 fps
Frames 241 (about 10 s) for entries without a duration; up to 481 (20 s)
Seed 123
Precision bf16 transformer
I2V temporal latent 0 uses the positive prediction without guidance

全体のワークフローとしては、プロンプト書き換え用スキルなどを通じて自然言語のプロンプトを構造化された状態記述JSONへと変換する「概念的推論ステージ」と、その構造化記述をもとに動画を生成する「知覚的パイプラインステージ」の2段階で処理されます。

公開元が報告している品質や安全性評価によれば、概念的推論にKimi K3を用いた内部検証において、推奨ガードレールを併用することで有害なT2Vリクエストから安全でない動画が生成される割合が33.9%から1.5%へと大幅に低減し、I2Vでは安全でない出力が観測されなかったとされています。一方で、無害な通常リクエストに対してもT2Vで11.5%、I2Vで3.3%の誤検知ブロックが発生するトレードオフが報告されています。

あわせて、モデルカードでは以下の品質面・機能面の制限事項が公開元から挙げられています。

  • 長期計画の失敗: 長期的な計画シミュレーションでは約3分の2の計画において少なくとも1つのステップが実行されない事象が発生します。
  • プロンプト依存性: 観察内容や行動を説明するプロンプトの表現に敏感であり、学習データ外の例では手作業によるプロンプト調整が必要とされます。
  • 時間経過による一貫性の低下: クリップごとに最大1枚の開始フレームとテキストから生成するため、長時間のインタラクションでは被写体の外観がドリフト(変化)しやすい傾向があります。
  • 物理的ショートカット: パスタが湯切りされる前にザルの中に現れてしまうなど、物理的な制約を飛び越えてシミュレーションを進行させてしまうケースが確認されています。

得意なこと・想定用途

元モデルである「IFM/PAN2」は、一般的な動画生成モデルとは異なり、入力された状況や行動の指示に基づいて世界の状態変化を予測する「ワールドモデル(世界モデル)」としての活用を主眼に置いています。具体的には以下のような領域が想定されています。

  • エージェントやロボティクスにおける行動シミュレーション: 自律エージェントやロボットが複数の行動候補の中からどれを実行すべきか決定する前に、各行動の結果をPAN2上で動画としてシミュレートし、最も良い結果をもたらす行動を選択する「シミュレーティブ推論(simulative reasoning)」の研究・開発に向いています。
  • 物理・因果推論の検証: 時間の経過に伴う物理的な変化や物体の相互作用、因果関係のシミュレーション能力を検証・研究する用途に適しています。
  • クリエイティブ制作および教育・評価向け動画生成: 単なるテキストからの動画生成(Text-to-Video)にとどまらず、静止画を開始フレームとして指定した動画化(Image-to-Video)に対応しており、最大20秒間(704×1248、24 fps)のまとまった尺の映像シミュレーションを生成できます。

動画生成にあたっては、アクターに紐付けられた時間指定のアクションやカメラワークなど、時間軸に沿って構造化されたワールドステートの記述を入力することで、より精度の高い物理挙動やシーン展開を再現しやすい設計となっています。

今回公開されたComfy-Org版は、こうした元モデルの機能をノードベースの画像・動画生成環境であるComfyUI上で手軽に扱えるように再パッケージ化したものです。オリジナルのBF16版ウェイトだけでなく、INT8量子化が施されたファイル(pan2_int8_convrot.safetensors)や、対応するテキストエンコーダーの量子化版(qwen3.5_9b_int8_convrot.safetensors)もあわせて同梱されており、個人のPCやローカルサーバーのワークフローに組み込んで実験しやすい形に整えられています。

配布ファイル

Comfy-Org/PAN2 で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ ComfyUIの配置先
diffusion_models/pan2_bf16.safetensors 67.37GB models/diffusion_models/
diffusion_models/pan2_int8_convrot.safetensors 26.68GB models/diffusion_models/
text_encoders/qwen3.5_9b_bf16.safetensors 19.31GB models/text_encoders/
text_encoders/qwen3.5_9b_int8_convrot.safetensors 9.75GB models/text_encoders/
vae/wan2.2_vae.safetensors 1.41GB models/vae/

ComfyUIの配置先は、リポジトリのフォルダ構成が ComfyUI の models/ と対応している場合にだけ示しています。

入手方法

本モデルファイルはHugging FaceのComfy-Orgリポジトリにて公開されており、形式はsafetensorsです。アクセス制限(Gated model)は設定されていないため、利用規約等への事前同意手続きを行わずにどなたでも直接ダウンロードできます。

ComfyUIで使用する場合は、リポジトリからダウンロードしたファイルを以下のディレクトリ構成に従って配置します。

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   ├── pan2_bf16.safetensors
│   │   └── pan2_int8_convrot.safetensors
│   ├── 📂 text_encoders/
│   │   └── qwen3.5_9b_int8_convrot.safetensors
│   ├── 📂 vae/
│   │   └── wan2.2_vae.safetensors
  • 拡散モデル本体(Diffusion Model): ComfyUI/models/diffusion_models/ ディレクトリに pan2_bf16.safetensors または量子化版の pan2_int8_convrot.safetensors を配置します。
  • テキストエンコーダー(Text Encoder): ComfyUI/models/text_encoders/ ディレクトリに qwen3.5_9b_int8_convrot.safetensors を配置します。
  • VAEデコーダー: ComfyUI/models/vae/ ディレクトリに wan2.2_vae.safetensors を配置します。

なお、元モデルである「IFM/PAN2」はComfyUIのほか、DiffusersパイプラインやvLLMからの利用にも対応しています。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

関連記事

次に読むなら

出典