「Hy-Nomas-Diffusers」対話型ビデオ生成モデル:配布ファイル一覧

「Hy-Nomas-Diffusers」対話型ビデオ生成モデル:配布ファイル一覧

作例は配布元のモデルカードで公開されています。

基本情報

項目 内容
リポジトリ tencent/Hy-Nomas-Diffusers
まとめページ Hy-Nomas のまとめ(記事2本)
公開元のまとめ Tencent のモデルとライセンスのまとめ
公開日 2026-10-24
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(公式HFリポジトリ(tencent)が一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Tencentが開発した、自由形式の対話型ビデオ生成モデル「Hy-Nomas」のDiffusers版が公開されました。テキストによる指示やカメラ制御を組み合わせて、ビデオのセグメントを逐次生成していく「ワールドモデル」としての性質を持ち、生成を続けながらオブジェクトの追加、スタイルの変更、シーンの切り替え、アクションの記述、カメラワークの操作が可能です。

本モデルは、セグメント自己回帰型のDiffusion Transformer(DiT)をベースに、Qwenテキストエンコーダー、カメラ条件付けモジュール、およびPixelUMMビデオデコーダーを組み合わせて構成されています。セグメント間でコンテキストを保持する永続的なKVキャッシュ(Key/Value Cache)を備えており、一貫性を保ったまま世界を拡張していくことができます。今回公開されたのは、BF16精度のDiffusers形式に変換された蒸留済みモデルで、少ないステップ数での高速な推論に対応しています。

スペック

資料に基づいた本モデルの主な仕様は以下の通りです。

  • アーキテクチャ: セグメント自己回帰型 Diffusion Transformer (DiT)
  • トランスフォーマーブロック: 54個のダブルストリームMMDiTブロック
  • 潜在空間: DCAE-V f32t4c32(32チャンネル、空間32倍・時間4倍圧縮)
  • テキストエンコーダー: Qwen2.5-VL-7B-Instruct(言語モデルコンポーネントを使用)
  • ビデオデコーダー: ファインチューニング済み PixelUMM(Transformerベース)
  • デコーダー仕様: 36レイヤー、隠れ層サイズ4,096、32クエリヘッド、8 KVヘッド
  • 出力解像度: 704 × 1280(標準設定)
  • フレームレート: 24 FPS
  • 推奨推論ステップ数: 蒸留済みモデルにおいて4ステップ(標準設定では8ステップ)
  • サンプラー: Flow Match Euler Discrete Scheduler(Euler ODEサンプリング)
  • ライセンス: Apache-2.0

性能・品質

本モデルの品質と制御性を評価するため、開発チームは独自のベンチマークセット「Hy-Nomas-Bench」を公開しています。これは280個のテストケースで構成されており、複数ターンの自由形式テキスト対話、カメラナビゲーション、テキストとカメラの複合制御、および空間メモリの4つの主要な能力を測定するものです。これにより、継続的な世界生成における対話的な制御性と、生成される映像の一貫性が評価されています。

技術的な品質面では、以下の特徴がモデルカードに記載されています。

高度な条件付け機構

テキスト条件付けには、Qwen2.5-VL-7B-Instructの3,584次元の隠れ状態を利用しています。これを2層のトークンリファイナーを介してDiTの2,048次元の隠れ空間に投影することで、セグメントごとに変化する複雑な指示を正確に反映させることが可能です。カメラ制御においては、4×4のカメラ外積行列をビデオ潜在変数の時間圧縮に合わせて処理する「extrinsics_attn」を採用しており、クロスアテンションを通じて精緻な視点操作を実現しています。

自己回帰的な一貫性の維持

生成プロセスはビデオセグメントごとの自己回帰で行われます。各ブロック内では「セグメント単位のコーザル・ジョイント・アテンション(segment-wise causal joint attention)」が機能し、3D RoPEによる位置エンコーディングとKVキャッシュによって、過去のセグメントからの文脈を継承します。このアテンションはセグメントを跨いで因果関係(Causal)を保つため、未来の情報を必要とせずに現在のセグメントを生成でき、効率的な継続生成が可能となっています。

高精細なビデオデコード

生成された潜在変数は、専用にファインチューニングされたPixelUMMデコーダーによってピクセル空間に復元されます。このデコーダーは、10フレームの潜在変数を5フレームのオーバーラップを持たせながら処理する時間窓方式を採用しており、1ステップのデコード処理で高品質なRGBビデオを再構成します。これにより、DiTによるノイズ除去プロセスとは独立して、効率的かつ視覚的に優れた映像出力を得られるとしています。

得意なこと・想定用途

Hy-Nomasは、ユーザーの入力に応じて動的に変化する「ビデオ・ワールド」の生成に特化しています。従来の動画生成モデルが単発のクリップ作成を主眼としていたのに対し、本モデルは複数のターンにわたる対話を通じて、一貫性のある世界を拡張し続けることが可能です。

具体的な得意分野と想定される用途は以下の通りです。

  • 自由形式のインタラクティブな生成: テキスト指示によって、生成中の世界に新しいオブジェクトを登場させたり、全体のスタイルやシーンを途中で切り替えたりすることができます。例えば、森の風景から始めて、指示によってキツネを登場させ、さらに周囲の植物を光らせるといった段階的な演出が可能です。
  • 精密なカメラワークの制御: 4×4のカメラ外積行列を用いた条件付けにより、三人称視点や特定の軌道に沿った視点移動など、意図した通りのカメラ制御を実現します。これは、ゲーム開発におけるカットシーンのプロトタイピングや、仮想空間のナビゲーション映像の作成に適しています。
  • 長尺かつ一貫性のある映像制作: セグメントごとに自己回帰的に生成を行うため、KVキャッシュを活用することで、前のセグメントの文脈(オブジェクトの配置や外見など)を維持したまま、映像を継ぎ足していくことができます。ベンチマークの「Hy-Nomas-Bench」では、空間的なメモリ能力も評価されており、移動後の視点でも世界の一貫性が保たれるよう設計されています。
  • ロボティクスやシミュレーションへの応用: 元モデル(tencent/Hy-Nomas)の資料では、ロボットアームのデータセットで学習したLoRAアダプターの存在も示されており、物理的な挙動を伴うシミュレーション環境の視覚化といった用途も視野に入っています。
  • 多様なスタイルの表現: 写実的なシネマティック映像から、ファンタジー調のアニメーションまで、指示に応じた幅広いビジュアルスタイルの生成が可能です。

配布ファイル

tencent/Hy-Nomas-Diffusers で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
decoder/diffusion_pytorch_model-*-of-00003.safetensors 13.94GB(3分割)
text_encoder/model-*-of-00003.safetensors 14.14GB(3分割)
transformer/diffusion_pytorch_model-*-of-00004.safetensors 17.11GB(4分割)

入手方法

今回公開された「Hy-Nomas-Diffusers」は、蒸留済みのBF16精度モデルであり、Hugging Faceのリポジトリから入手できます。配布形式はSafetensorsで、Diffusersライブラリを通じて利用可能です。

入手および利用の手順は以下の通りです。

  • ライブラリのインストール: 本モデルを利用するには、Hy-Nomasに対応した特定のブランチからDiffusersをインストールする必要があります。以下のコマンドを使用します。
    bash pip install -e "diffusers[hy-nomas] @ git+https://github.com/jiaxiangc/diffusers.git@hy-nomas"
  • モデルのロード: HyNomasModularPipelineを使用して、トランスフォーマー、デコーダー、テキストエンコーダーなどの各コンポーネントを一括でロードできます。本パイプラインは、プレーンなテキスト指示、または構造化されたプロンプトの両方を受け付けることができます。
  • リポジトリの構成: tencent/Hy-Nomas-Diffusersリポジトリには、トランスフォーマー(transformer/)、ビデオデコーダー(decoder/)、テキストエンコーダー(text_encoder/)、トークナイザー(tokenizer/)、スケジューラー(scheduler/)が含まれています。
  • 追加コンポーネント: 元モデルのリポジトリ(tencent/Hy-Nomas)では、INT8量子化版のDiTやFP8版のデコーダー、特定のビジュアル品質を高めるLoRAアダプターなども配布されていますが、本Diffusers版リポジトリには含まれていないため、必要に応じて使い分けることになります。
  • 推論の最適化: 推論速度やメモリ効率を向上させるため、FlashAttention 2/3やMagiAttentionといったカーネルの利用が推奨されています。これらは別途インストールし、パイプライン側で有効化することで利用可能です。

なお、本モデル(tencent/Hy-Nomas-Diffusers)の入手にあたって、Hugging Face上での特別なライセンス同意(Gated設定)は必要ありません。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

関連記事

次に読むなら

出典