「WORL-Lingbot」カメラ制御対応の動画生成LoRAモデル:配布ファイル一覧

「WORL-Lingbot」カメラ制御対応の動画生成LoRAモデル:配布ファイル一覧

作例は配布元のモデルカードで公開されています。

基本情報

項目 内容
リポジトリ Efficient-Large-Model/WORL-Lingbot
公開元のまとめ Efficient Large Model(NVIDIA・MIT) のモデルとライセンスのまとめ
公開日 2026-10-20
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(Hugging Face上の公式モデルリポジトリが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Efficient-Large-Modelより、動画ワールドモデル向けのLoRAアダプター「WORL-Lingbot」が公開されました。

本モデルは、ベースモデルである「LingBot-World-Fast」に対して強化学習手法「WORL」を適用して追加学習を行ったカメラ制御LoRAアダプターです。初期画像(RGB画像)、テキストプロンプト、各フレームのカメラ軌道および内部パラメータ行列を入力として与えることで、指定したカメラワークに沿った動画の継続生成結果を出力します。

スペック

モデルカードおよび付属のメタデータに記載されている仕様は以下の通りです。

  • アーキテクチャ: カメラ条件付け対応のWanModelFastトランスフォーマー(Camera-conditioned WanModelFast transformer)
  • ベースモデル: robbyant/lingbot-world-fast(リビジョン b7a1db2da9bd3ba675ee01c228f41db0309b981e、サブフォルダ lingbot_world_fast)
  • 配布形式: BF16精度のPEFT LoRAアダプター(safetensors形式)
  • LoRAパラメータ: rank 128 / alpha 128
  • 出力仕様: 81フレーム、解像度 832 × 464ピクセル、フレームレート 16 FPS(元リリースの記録による規定)
  • 評価時ストライド: 81フレームのクリップ間で80フレームのストライドを用い、隣接するクリップ間で境界フレームを1フレーム共有する仕様となっています
  • 入力データ形式:
  • 第1フレーム(First frame): RGB画像 – プロンプト(Prompt): シーンと意図する動きを記述するテキスト – カメラ軌道(Camera trajectory): フレームごとのカメラ・ワールド変換行列 (F, 4, 4) – カメラ内部パラメータ(Camera intrinsics): フレームごとの内部パラメータ行列 (F, 3, 3)
  • 必要コンポーネント: 単体では動作せず、ベースとなるトランスフォーマー、テキストエンコーダー、トークナイザー、VAE、スケジューラー、およびLingBotランタイムが個別に必要となります
  • ライセンス条件: Apache-2.0ライセンスのもとで公開されています

性能・品質

モデルカードにはベンチマークスコアの数値比較表は掲載されていませんが、学習手法や品質に関する特性、およびベースモデルの公表性能が報告されています。

本モデルの学習手法であるWORLでは、自己回帰ロールアウト、報酬評価、候補選択、ポリシー更新の手順を通じてポリシーの最適化が行われています。リファレンス構成では、HPSv3、NVRM、VGGT-Omega PI Cameraの各報酬関数を組み合わせて学習が実施されたと説明されています。学習用データセットとしては、プロンプト、初期フレーム、カメラ条件付け配列を含む2,218件のレコードで構成される「OpenScene/revisit training bundle」(qyoo/lingbot-top2400-training-data)が用意されており、初期シーン画像にはgpt-imageが使用されたと記載されています。

ベースモデルにあたる「LingBot-World-Fast」(LingBot-Worldシリーズ)について公開元であるRobbyantチームが公表している情報によれば、写実的な表現から科学的コンテキスト、カートゥーン調に至るまで多様な環境において高い忠実性と頑健なダイナミクスを維持するとされています。また、文脈の整合性を保ちながら分単位の長期的な予測・生成を行う長期記憶機能や、16 FPS生成時に1秒未満のレイテンシを達成するリアルタイム対話性を備えていると説明されています。

一方で、公開元は利用上の限界についても明記しています。長時間のロールアウトを行った場合、シーンの同一性、空間幾何、カメラの動き、物理的一貫性にドリフト(ズレや破綻)が生じる可能性があると報告されています。また、生成される合成映像は検証済みの物理シミュレーションや自律制御用の信号として扱えるものではないこと、さらにベースモデルや学習データに由来するバイアスの影響を受ける可能性があるため、用途に応じた確認が必要であると注意が促されています。なお、今回の公開にあたって新しいGPUベンチマークは実施されていないとされています。

得意なこと・想定用途

本モデルは、カメラ軌道を条件付けとした動画生成技術や、動画ワールドモデルに対する強化学習(RL)の研究を主な想定用途として設計されています。単なるプロンプトからの映像生成にとどまらず、基準となる1枚の画像(第1フレーム)とテキストによるシーン指示に加えて、フレームごとのカメラ軌道(camera-to-world行列)と内部パラメータを指定することで、視点移動を精密に制御した動画の継続生成を行える点が大きな特徴です。

本LoRAアダプターは、高速推論向けトランスフォーマーである「LingBot-World-Fast」をベースとし、WORL手法によるロールアウトと報酬フィードバックを用いて追加学習を行うことで、カメラ追従性とワールドシミュレーション特性を強化することを狙っています。ベースモデルである「LingBot-World」シリーズが掲げる得意領域として、写実的な実写調の映像表現だけでなく、科学的なシミュレーション環境やカートゥーン調のアニメーションといった多様な空間に対応できる高い表現力が挙げられています。公開元では、これらの技術がコンテンツ制作、ゲーム開発、さらにはロボットの行動学習(robot learning)といった実践的な分野の研究開発に寄与することを想定しています。

一方で、モデルカードでは利用における注意点も挙げられています。長時間の自己回帰的なロールアウトを繰り返すと、シーン内のオブジェクトの同一性や空間幾何、カメラの移動、物理的な挙動の整合性にドリフト(崩れやズレ)が生じやすい特性があります。そのため、検証済みの厳密な物理シミュレータや、自動運転・ロボット等の自律制御用シグナルとしてそのまま実運用することは想定されておらず、生成結果が意図した用途に適しているかどうかの確認や、入力メディアの権利関係への配慮が求められています。

配布ファイル

Efficient-Large-Model/WORL-Lingbot で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
adapter_model.safetensors 1.23GB

入手方法

WORL-Lingbotは、Hugging Faceのリポジトリ「Efficient-Large-Model/WORL-Lingbot」にて公開されており、ゲート付きモデルではないため事前の申請や同意手続きなしで直接ダウンロードして利用できます。ライセンスはApache-2.0が適用されています。

配布形式はBF16精度のPEFT LoRAアダプターとなっており、リポジトリ内にはアダプター重みである adapter_model.safetensors、PEFT設定ファイルの adapter_config.json、およびリビジョン情報とSHA-256ハッシュを記録した RELEASE_MANIFEST.json が含まれています。公開元の説明によると、アダプターの重みと設定内容は qyoo/lingbot-worl の特定リビジョン(d3e449c675f5)と同一であり、ファイルの完全性も該当スナップショットに対して検証されています。

重みファイルのダウンロードには、Hugging Face公式のCLIツールを使用できます。端末で以下のコマンドを実行することで、ローカルディレクトリへ取得できます。

hf download Efficient-Large-Model/WORL-Lingbot --local-dir artifacts/WORL-Lingbot

実際に動画生成を実行するためには、本アダプター単体ではなく、互換性のあるLingBotランタイム環境に加え、ベーストランスフォーマー、テキストエンコーダー、トークナイザー、VAE、スケジューラーが個別に必要となります。ベースモデルのコードベースはWan2.2を基盤としており、Python環境においてPyTorch(バージョン2.4.0以上)やflash-attnなどの依存ライブラリをセットアップしたうえで動作させます。

Pythonコードからモデルを読み込む際は、PEFTライブラリを用いて、固定された特定リビジョンのLingBot-World-Fastトランスフォーマーに対してアダプターをアタッチします。モデルカードで提示されている読み込み例は以下の通りです。

import torch
from peft import PeftModel
from wan.modules.model_fast import WanModelFast

base = WanModelFast.from_pretrained(
    "robbyant/lingbot-world-fast",
    revision="b7a1db2da9bd3ba675ee01c228f41db0309b981e",
    subfolder="lingbot_world_fast",
    torch_dtype=torch.bfloat16,
    control_type="cam",
)
model = PeftModel.from_pretrained(
    base,
    "Efficient-Large-Model/WORL-Lingbot",
    is_trainable=False,
).eval()

このようにベーストランスフォーマーとLoRAアダプターを読み込んだ後、LingBotのパイプラインコンポーネントと統合することで、カメラ条件付けを指定した動画生成パイプラインを構築できます。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

関連記事

次に読むなら

出典