「Hy-Nomas」マルチターン対話型動画生成モデル:配布ファイル一覧

「Hy-Nomas」マルチターン対話型動画生成モデル:配布ファイル一覧

作例は配布元のモデルカードで公開されています。

基本情報

項目 内容
リポジトリ tencent/Hy-Nomas
まとめページ Hy-Nomas のまとめ(記事2本)
公開元のまとめ Tencent のモデルとライセンスのまとめ
公開日 2026-10-21
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(公式HuggingFaceリポジトリで一次情報が確認可能)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Tencentは、テキストによる指示やカメラ制御を介してマルチターンで対話的に動画を生成できる世界生成モデル「Hy-Nomas」を公開しました。ユーザーがテキストプロンプトやカメラの移動軌道を入力することで、シーンや視点を段階的に変化させながら、セグメント単位で連続した動画世界を出力・拡張していくテキスト・カメラ軌道からの動画生成モデルです。

本モデルは、セグメント自己回帰型のマルチモーダルDiffusion Transformer(MMDiT)、テキストエンコーダ、カメラ条件付けモジュール、そしてPixelUMM動画デコーダを統合した構成を採っています。生成セグメント間で文脈を引き継ぐ永続的なKey/Value(KV)キャッシュ機構を備えており、蒸留済みの推論構成ではわずか8デノイジングステップで720×1280解像度、24 FPSの動画セグメントを出力します。さらに、単一のNVIDIA GeForce RTX 4090上での動作を可能にする低メモリ構成も提供されています。

スペック

モデルカードおよび公開されている構成ファイルから確認できるスペックは以下の通りです。

  • アーキテクチャ: 密集型マルチモーダルDiffusion Transformer(dense MMDiT)。動画潜在表現とテキストトークンを処理するデュアルストリーム構造を採用しています。
  • MMDiTブロック数: 54層のダブルストリームブロック(シングルストリームブロックは0) – 隠れ層サイズ: 2,048 – アテンションヘッド: 16ヘッド(1ヘッドあたり128次元) – フィードフォワード層中間サイズ: 8,192(4倍展開) – 位置エンコーディング: 3D RoPE(時間・縦・横の各次元は [16, 56, 56]、theta 256)
  • テキストエンコーダ: 「Qwen/Qwen2.5-VL-7B-Instruct」の言語モデルコンポーネントを利用。3,584次元の隠れ状態を2層のトークンリファイナーを経てDiTの2,048次元空間に射影します。
  • カメラ条件付け: 正規化された4×4の外部パラメータ行列を4フレーム単位でグループ化し、64次元入力として投影します。ダブルストリームブロック内のカメラクロスアテンションを介して動画トークンにカメラの視点・動きを反映させます。
  • 動画潜在空間とデコーダ: DCAE-V f32t4c32 潜在表現(32チャンネル、空間方向に32倍、時間方向に4倍の圧縮)。出力される潜在表現はファインチューニングされたPixelUMMデコーダ(36層、隠れ層4,096、クエリヘッド32、KVヘッド8)で復元されます。
  • 出力仕様:
  • デフォルト解像度: 720 × 1280(設定変更により480 × 832なども指定可能) – フレームレート: 24 FPS
  • 推奨推論設定:
  • DiTデノイジングステップ数: 8ステップ(蒸留版モデル使用時) – PixelUMMデコーディングステップ数: 1ステップ – ソルバー: Euler ODE(フローベロシティ予測) – ガイダンススケール(CFG): テキスト 1.0、カメラ 1.0 – カメラ移動・回転強度: 平行移動スケール 1.0、回転スケール 2.5
  • ライセンス条件: Apache-2.0ライセンスが適用されています。商用利用や改変、再配布が許容されるオープンなライセンス体系となっています。

性能・品質

公開元によるベンチマークテストのスコア数値表はモデルカード内に直接掲載されていませんが、インタラクティブな制御性と生成の一貫性を測定するための評価スイートとして「Hy-Nomas-Bench」が同時に公開されています。Hy-Nomas-Benchは、マルチターンの自由形式テキスト対話、カメラナビゲーション、テキストとカメラのインターリーブ制御、空間メモリの4つの領域をカバーする全280件のテストケースで構成されており、連続的な世界生成の性能を多角的に検証できる設計となっています。

また、品質と推論効率の面では、蒸留技術の導入によりわずか8ステップのデノイジングと1ステップのPixelUMMデコードで高品質な720p・24 FPS動画を生成できる点が公開元より示されています。さらに、視覚的な品質を高めるための「Cinematic LoRA」や、実環境のロボットアームデータセット(RealSource-World)で学習され世界生成におけるロボティクスシミュレーション性能を強化する「Robotics LoRA」といったアダプタも提供されており、用途に応じた表現力の拡張が図られています。

得意なこと・想定用途

Hy-Nomasは、テキストによる自由形式の指示とカメラの移動軌道を組み合わせることで、動的な仮想世界を対話的に構築・拡張していく作業を得意としています。従来の単発的な動画生成モデルとは異なり、セグメント単位で動画を生成しながら過去の文脈をKVキャッシュとして保持できるため、生成済みの世界観や空間的一貫性を保ったまま、新たな事象や視点の変化を滑らかに導入できます。

具体的には、以下のような用途やシナリオが想定されています。

  • マルチターン対話による世界構築: 初期のシーンを生成した後に、「狐が花の間を通り抜ける」「天候が夜に変わり光る花が開花する」といった追加のテキスト指示を与えることで、被写体の行動、外観、シーン全体のスタイル、環境条件を段階的に変化させることができます。
  • 精密なカメラナビゲーション: 外部パラメータ行列で定義された3次元カメラ軌道(並進・回転)を入力することで、一人称視点や三人称視点の移動、自由なアングルからの空間探索など、演出意図に沿った緻密なカメラワークの映像を作り出せます。
  • ロボティクスシミュレーション: 実世界のロボットアームデータセット(RealSource-World)で学習された「Robotics LoRA」を蒸留モデルに統合することで、ロボットの動作検証や環境認識のためのシミュレーション映像生成に活用できます。
  • シネマティック映像制作: 提供されている「Cinematic LoRA」を活用することで、高品質なライティングや構図を持つ映画調の映像表現を手軽に追求できます。
  • インタラクティブなデモ・プロトタイピング: リアルタイムに近い感覚で指示を反映できるため、ゲーム開発や仮想空間プロトタイピングにおけるシーン生成、探索型コンテンツの検証にも適しています。

配布ファイル

tencent/Hy-Nomas で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
DiT/base_ar/diffusion_pytorch_model_fp32.safetensors 34.21GB
DiT/distilled/diffusion_pytorch_model_ema_0_995.safetensors 34.21GB
DiT/distilled_int8/diffusion_pytorch_model_ema_0_995_int8.safetensors 9.06GB
DiT/lora_weights/cinematic/adapter.safetensors 6.12GB
DiT/lora_weights/dual_arm_robotics/adapter.safetensors 12.24GB
PE/model-*-of-00018.safetensors 55.56GB(18分割)
VAE/DCAE-V/dc-ae-v-1.0-f32t4c32-bf16.pt 4.28GB
VAE/PixelUMM_FT/diffusion_pytorch_model.safetensors 31.55GB
VAE/PixelUMM_FT_FP8/diffusion_pytorch_model_fp8.safetensors 9.13GB

入手方法

Hy-Nomasのモデル重みはHugging Faceの tencent/Hy-Nomas リポジトリにて配布されています。ゲート付きモデルではないため、利用規約への事前同意などは不要で、どなたでも直接ダウンロードして利用できます。

モデル重みは主にsafetensors形式で提供されており、用途や実行環境に合わせて適切なファイルを揃える必要があります。

  • DiTモデル: 通常の8ステップ推論やWebデモで使用する蒸留版(DiT/distilled/diffusion_pytorch_model_ema_0_995.safetensors)のほか、単一GPU環境向けの量子化版(DiT/distilled_int8/diffusion_pytorch_model_ema_0_995_int8.safetensors)、非蒸留のベースモデル(DiT/base_ar/diffusion_pytorch_model_fp32.safetensors)が用意されています。
  • デコーダ: 標準のPixelUMMデコーダ(VAE/PixelUMM_FT/diffusion_pytorch_model.safetensors)および低メモリ構成向けのFP8量子化版(VAE/PixelUMM_FT_FP8/diffusion_pytorch_model_fp8.safetensors)が配布されています。
  • アダプタ: 画質向上のための DiT/lora_weights/cinematic/ や、ロボティクス用途向けの DiT/lora_weights/dual_arm_robotics/ も同一リポジトリから入手できます。

推論コードは公式GitHubリポジトリ(https://github.com/Tencent-Hunyuan/Hy-Nomas)で公開されています。実行環境としては、Python環境、PyTorch、必要なCUDAアテンションカーネルが一括で導入されている公式推奨のDockerイメージ(hynomasoss/hynomasoss:cu130)を利用する方法が案内されています。

ローカル環境で直接セットアップする場合は、Python 3.12以上、uv、CUDA 13.0 Toolkit環境を用意した上で、リポジトリルートから依存関係を導入します。

git clone https://github.com/Tencent-Hunyuan/Hy-Nomas.git
cd Hy-Nomas
uv sync --extra all
source.venv/bin/activate

テキストエンコーダとして使われる Qwen/Qwen2.5-VL-7B-Instruct の重みは、推論実行時にHugging Faceから自動的に取得されます(ローカルパスを直接指定することも可能です)。

推論の実行はシェルスクリプト経由で行います。標準構成(8並列シーケンス並行)で実行する場合は以下のコマンドを実行します。

export HY_NOMAS_MODEL_DIR="/path/to/Hy-Nomas-models"

bash scripts/inference/inference_from_config.sh configs/experiment/inference.yaml \
  dit_weight="$HY_NOMAS_MODEL_DIR/DiT/distilled/diffusion_pytorch_model_ema_0_995.safetensors" \
  model.vae.checkpoint="$HY_NOMAS_MODEL_DIR/VAE/PixelUMM_FT/diffusion_pytorch_model.safetensors" \
  inference.prompt="$HY_NOMAS_MODEL_DIR/examples/prompts.json" \
  inference.save_path=./outputs/distill

単一のGeForce RTX 4090などの低メモリ環境で動かす場合は、INT8版DiTとFP8版PixelUMMを指定し、専用の設定ファイルを指定して実行します。

bash scripts/inference/inference_from_config.sh configs/experiment/single_gpu_low_mem_inference.yaml \
  dit_weight="$HY_NOMAS_MODEL_DIR/DiT/distilled_int8/diffusion_pytorch_model_ema_0_995_int8.safetensors" \
  model.vae.checkpoint="$HY_NOMAS_MODEL_DIR/VAE/PixelUMM_FT_FP8/diffusion_pytorch_model_fp8.safetensors" \
  inference.prompt="$HY_NOMAS_MODEL_DIR/examples/prompts.json" \
  inference.save_path=./outputs/single_gpu

また、Webブラウザから操作できるオンラインインタラクティブデモも公開されており、手元に機材を用意する前に動作や生成品質を試すことも可能です。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

関連記事

次に読むなら

出典