「Cosmos3-H-Dreams」動画生成モデル:必要VRAM 48GB〜・配布ファイル一覧

「Cosmos3-H-Dreams」動画生成モデル:必要VRAM 48GB〜・配布ファイル一覧

基本情報

項目 内容
リポジトリ nvidia/Cosmos3-H-Dreams
公開元のまとめ NVIDIA のモデルとライセンスのまとめ
公開日 2026-10-19
ライセンス nvidia-open-model-license
配布形式 safetensors
論文 arXiv:2608.24199, arXiv:2506.08009, arXiv:2405.14867
出典の種類 公開元の一次情報(NVIDIA公式アカウントによるHuggingFace公開)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

NVIDIAは2026年10月20日、手術支援ロボットシステム「CMR Surgical Versius」に対応したリアルタイムのアクション条件付き手術ワールドモデル「Cosmos3-H-Dreams」を公開しました。本モデルは、身体性AI向けの基盤モデル「Cosmos3-H-Embodied-Nano」(ベースモデルはCosmos3-Nano)を元に、臨床における胆嚢摘出術データでファインチューニングおよび蒸留を行って開発されています。

本モデルは、単一の内視鏡カメラフレーム、直近のロボット操作履歴、および左右両腕に対する将来の運動学・制御コマンド列を入力として受け取ります。これらに基づき、操作に応じた術野の内視鏡動画を自己回帰的かつリアルタイムにストリーミング生成します。物理システムへ移行する前のシミュレーション環境におけるロボットポリシー評価や、インタラクティブな術野探索、手術データの合成などを主な役割としています。

スペック

モデルカードに記載されているCosmos3-H-Dreamsの仕様は以下の通りです。

  • パラメータ数: 約1.5 × 10^10(15.17B)
  • アーキテクチャ: Mixture-of-Transformers(MoT)。Qwen3-VL-8B-Instruct推論タワーと、共有マルチモーダルアテンションを備えた潜在拡散生成エキスパートで構成されています。Wan2.2 VAE潜在空間(時間方向4倍、空間方向16×16の圧縮)上で動作し、運動学条件付け用のアクション埋め込み・射影層を備えています。双方向の教師モデルから、KVキャッシュを備えたブロック因果(block-causal)な4ステップ自己回帰生徒モデルへと蒸留されています。
  • 入力仕様:
  • 画像: 単一の2D内視鏡RGBフレーム(推奨解像度832×480、16:9アスペクト比推奨) – アクションベクトル: 28次元(1Dシーケンス)。左右の各アームに14次元ずつ(相対並進3、相対6D回転6、ジョー開閉1、電気手術エネルギー有効化1、サムスティックボタン1、サムスティック軸2)が割り当てられています。過去のアクション履歴は最大16ステップ(1.6秒分、10 Hz)、将来の制御コマンドは最大72ステップを受け付けます。
  • 出力仕様:
  • 形式: MP4動画(3D: 高さ、幅、時間) – 解像度・フレームレート: 832×480、10 Hz – 生成単位: デフォルトで72フレーム(7.2秒間)を生成し、4フレーム(0.4秒)単位でストリーミング出力します。自己回帰ループを継続または再アンカーすることで、より長時間の軌跡生成にも対応します。
  • 推奨推論ステップ数: 潜在フレームあたり4ステップ(蒸留済み生徒モデル)
  • ライセンス条件: 商用利用および非商用利用のいずれにも対応しています(Ready for commercial or non-commercial use)。ライセンス体系はnvidia-open-model-licenseが適用されています。

性能・品質

Cosmos3-H-Dreamsのモデルカードでは、NVIDIAのハードウェア環境における推論速度のベンチマーク結果が公表されています。公表されている測定値の表は以下の通りです。

GPU Resolution (W x H) Diffusion steps Inference FPS
RTX PRO 6000 Blackwell Workstation Edition 832 x 480 4 30.0
RTX PRO 6000 Blackwell Workstation Edition 832 x 480 2 43.2
RTX PRO 6000 Blackwell Max-Q Workstation Edition 832 x 480 4 20.2
RTX PRO 6000 Blackwell Max-Q Workstation Edition 832 x 480 2 31.2
DGX Spark 512 x 288 2 16.9

公開元による測定結果によれば、RTX PRO 6000 Blackwell Workstation Editionにおいて、標準設定である解像度832×480かつ拡散ステップ数4の設定で30.0 FPSを達成しており、ステップ数を2に削減した場合は43.2 FPSまで向上します。省電力向けのRTX PRO 6000 Blackwell Max-Q Workstation Editionでも、同解像度の4ステップ実行で20.2 FPS、2ステップ実行で31.2 FPSを記録しています。一方で、DGX Spark環境では解像度を512×288に縮小し2ステップで実行した場合でも16.9 FPSに留まっており、実行ハードウェアの構成や投入解像度によって得られる推論フレームレートに大きな差が生じることが示されています。

また、品質面に関しては、臨床現場で記録されたCMR Surgical Versiusによる胆嚢摘出術データ(4,792エピソード、1080p・60 Hzの約1,700万フレームから10 Hzへダウンサンプリングしたデータセット)を用いて検証が行われています。術者の両腕の運動学および制御コマンドに追従して術野の内視鏡映像が変化することが確認されており、人間の術者による操作や学習済みポリシーモデルが出力するアクション軌跡に対しても、インタラクティブに応答する品質を備えていると説明されています。

得意なこと・想定用途

Cosmos3-H-Dreamsは、手術支援ロボット「CMR Surgical Versius」を用いた腹腔鏡下胆嚢摘出術に特化した、アクション条件付きのリアルタイム手術シミュレーションを得意としています。本モデルは受動的な動画生成にとどまらず、操作者が与える連続的な制御入力に対して動的に内視鏡映像を生成できる点が大きな特徴です。

モデルカードでは、主に次のような想定用途が挙げられています。

  • 物理ロボット移行前のポリシー評価: 実機を用いた動物実験や献体を用いた検証はコストや再現性の面で大きな負担となりますが、本モデルを用いることで、シミュレーション環境下において手術ロボット向けの強化学習ポリシーやVLA(Vision-Language-Action)ポリシーの性能評価を低コストに行えます。
  • リアルタイムかつインタラクティブな術野探索: 術者による遠隔操作デバイスやキーボード、Meta Questなどのヘッドセットを用いた入力に即座に応答し、インタラクティブに術野の環境変化を観察・検証できます。
  • 高品質な手術合成データの生成: 臨床データのみでは収集が難しい特定の操作軌跡やアプローチに対して、一貫した内視鏡映像と制御コマンドをペアにした合成データセットの大規模な作成が可能です。

ベースとなったCosmos3-H-Embodied-Nanoは、複数種の手術ロボットを対象とする基礎的なアクション条件付きモデルでしたが、Cosmos3-H-DreamsではCMR Versiusによる実際の胆嚢摘出術データに特化した追加学習を行っています。左右のアームに把持鉗子(grasper)と電気メスフック(hook)が映る術野に限定し、28次元の操作入力を精密に反映させることで、実際の臨床手技に即した忠実度の高いシミュレーション環境を提供することを狙っています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 15.8B(元モデル nvidia/Cosmos3-Nano の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 6000 Ada / A6000 など 48GB BF16 32.5GB 39.0GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 未登録、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス nvidia-open-model-license: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(nvidia-open-model-license)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

配布ファイル

nvidia/Cosmos3-H-Dreams で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
checkpoints/exp15/c3-h-d_2-step_model_bf16.safetensors 30.35GB
checkpoints/exp15/c3-h-d_4-step_model_bf16.safetensors 30.35GB

入手方法

Cosmos3-H-Dreamsのモデル重みは、Hugging Faceにてsafetensors形式で公開されています。アクセス制限(Gated)は設定されておらず、利用規約に同意した開発者であればダウンロードして利用できます。

モデルの実行環境や利用可能なツールに関する仕様は以下の通りです。

  • 対応リポジトリ: 重みファイルはHugging Faceの nvidia/Cosmos3-H-Dreams にて提供されています。推論用のコードベースはGitHubの Cosmos3-H-Dreams で公開されています。
  • ストリーミング推論ランタイム: リアルタイム提供を実現するための推論ライブラリとして Cosmos3-H-Dreams および FlashDreams が用意されています。静的形状のKVキャッシュ、torch.compile、CUDA Graphs、LightTAE軽量デコーダ、さらにキーボードやWebXR(Meta Quest)経由の操作配信スタックが統合されています。
  • 対応ハードウェア・OS: NVIDIA BlackwellおよびNVIDIA HopperアーキテクチャのGPUがサポートされています。動作確認済みのOSはLinuxのみとなっています。
  • 動作精度: トレーニングおよびネイティブ推論はBF16(Brain Floating Point 16)混合精度で実施されており、重みはFP32形式でエクスポートされています。現時点でその他の量子化形式や低精度設定についての公式な動作検証は行われていません。

推論を実行する際は、ベースモデルであるCosmos 3の学習フレームワーク一式を別途用意する必要はなく、軽量化されたストリーミング推論用のスタックのみで動作させることが可能です。

関連記事

次に読むなら

出典