Duo-1.0モデル群: inclusionAIのリアルタイム相互作用ワールドモデル

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | inclusionAI/Duo-1.0-causal-base |
| 公開元のまとめ | inclusionAI(Ant Group) のモデルとライセンスのまとめ |
| 公開日 | 2026-11-12 |
| ライセンス | minimax-h3-community-license |
| 配布形式 | safetensors |
| 論文 | arXiv:2611.15131 |
| 出典の種類 | 公開元の一次情報(公式HFアカウントで公開されており一次情報) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
inclusionAIより、リアルタイムな音声・映像相互作用(フルデュプレックス対話)を実現する世界モデル「Duo-1.0-causal-base」および「Duo-1.0-distill」が公開されました。入力される視覚・聴覚情報を絶え間なく認識し続けながら、リアルタイムでユーザーへ応答を返せるマルチモーダルな世界モデルです。
論文『Duo: A Reciprocal World Model for Full-Duplex Interaction』によれば、本モデルは「相互世界モデル(Reciprocal World Model, RWM)」という理論的枠組みに基づいています。従来の多くの世界モデルが物理的現実のシミュレーションに主眼を置き、推論や意思決定を外部制御として扱っていたのに対し、RWMでは知性と物理現実の双方を世界の構成要素として等しく扱います。具体的な機能として、対話の根底にある認知と推論を担う「Intent」と、それに基づいて一貫性のある音声・映像挙動を生成する「Realization」の2つの基本要素が導入されています。
本モデルは、リアルタイムな音声・映像・テキスト入力を常時知覚し、自発的な会話や割り込み対応を含む全双方向(フルデュプレックス)対話を可能にします。画面やテキスト入力にとどまらず、実物オブジェクトの共有、仮想シーンの操作・再構築、アシスタントの誘導、マウスやキーボードを使用しない音声・映像ゲームのプレイなど、多岐にわたる相互作用スタイルを想定して設計されています。
スペック
公式モデルカードおよび配布パッケージの構成として、以下の仕様が公開されています。
- モデルバージョン: Duo 1.0
- バリアント: Causal base(基本モデルバンドル)、Distill(4ステップ蒸留モデル)
- パッケージ内容: Realization重みおよびバックボーン、Intentモデルおよびアダプタ、ビデオコーデック、オーディオコーデック、音声認識器(speech recognizer)、強制アライナー(forced aligner)
- Realization保存形式: PyTorch Distributed Checkpoint (DCP)
- デフォルトサンプラー: Eulerサンプラー(50ステップ、flow shift 1.0)
性能
モデルカードや公開資料には、従来の標準的なベンチマークの数値比較表は掲載されていません。論文要旨および公開元の解説による技術的な検証・性能面の特徴は以下のとおりです。
まず対話の制御面では、自己回帰モデリングをディフュージョンモデルへの指示理解だけに限定せず、連続的な対話推論や対話への参加決定の制御に直接活用しています。タイムライン上ではチャンク単位の条件付けとトークン同期を行い、モジュール固有のアテンションマスクを適用することで、未来の入力データへのアクセスを防ぐ因果依存関係を厳格に保持しています。
また、長期的な対話や生成で生じる分布シフト(distribution shift)の緩和策として、自己回帰的に生成されたIntentトークンと合成された音響・映像履歴を用いてトレーニングを行う「デュアルロールアウト蒸留(dual rollout distillation)」が施されています。軽量化モデルである「Duo-1.0-distill」では、Realization層に対して4ステップの蒸留が実施されており、基本モデルのコンポーネントと組み合わせて機能させることで、推論における効率化と高速な応答性能を実現しています。
得意なこと・想定用途
Duo-1.0モデル群は、動画生成および音声生成を統合した世界モデルであり、リアルタイムな音声・映像相互作用(フルデュプレックス対話)に特化しています。
本モデル群が最も得意とするのは、リアルタイムに入力される視覚や聴覚の情報を途切れることなく知覚し続け、ユーザーの入力に対して遅延なく応答を返すインタラクティブなタスクです。機能タグにも video-generation、audio-generation、world-model などが指定されており、音声と映像を同時に扱う高度なマルチモーダル処理を前提としています。
具体的な想定用途や応用シナリオとして、以下のような場面が挙げられます。
- 自発的な会話と割り込み対応: 応答の途中でユーザーが発言を挟む「割り込み」や、システム側からの自発的な発言を含むスムーズな音声対話。
- 実物オブジェクトの共有と認識: カメラを通じた現実の物体共有と、それを考慮したリアルタイムな応答。
- 仮想シーンの操作・再構築: ユーザーの入力に応じて仮想的なシーンや環境を動的に変化させる操作。
- アシスタント誘導およびゲームの操作: マウスやキーボードといった従来の操作デバイスを使用せず、音声や映像の身振り手振りだけで直感的に進めるゲームプレイや操作ガイド。
これらにより、単なるテキストや音声の応答を超えた、没入感の高いインタラクティブ体験の構築に向いています。
入手方法
Duo-1.0の各モデル重みやパッケージは、Hugging Faceより hf コマンドラインツールを用いて入手できます。
基本モデルである inclusionAI/Duo-1.0-causal-base をダウンロードする場合は、以下のコマンドを実行します。
hf download inclusionAI/Duo-1.0-causal-base --local-dir weights
蒸留版の inclusionAI/Duo-1.0-distill を使用する場合は、まず Duo-1.0-causal-base の完全なバンドルをダウンロードした上で、同じディレクトリに蒸留版の重みを上書き(オーバーレイ)配置する必要があります。共有されるIntentモデルや各種コーデック、音声モデル、Realizationバックボーンは基本モデルから供給されます。
hf download inclusionAI/Duo-1.0-causal-base --local-dir weights
hf download inclusionAI/Duo-1.0-distill --local-dir weights
各種設定ファイルやランタイムへの組み込み方法、完全なソースコードについては、inclusionAI/Duo のGitHubリポジトリにまとめられています。
手元で動かせるか
公開元の配布形式は safetensors です。
ライセンス minimax-h3-community-license: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。
配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
当サイトでの実測
ライセンスの都合で行っていない実測
このモデルのライセンス(minimax-h3-community-license)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。
関連記事
- Duo-1.2-causal-base: 全二重マルチモーダルワールドモデル
- 「Duo-1.0-distill-quant」FP8量子化Realizationモデル:必要VRAM 80GB〜
- 「SingVL_S1_4B_GGUF」4Bのマルチモーダル意思決定モデル:必要VRAM 4GB〜
- 「ZoomGain-9B-GGUF」画像とテキストの対話に対応する視覚言語モデル:必要VRAM 8GB〜
次に読むなら
- このモデルを入手できる形式を調べる → Safetensors形式の解説と対応モデル
- 公開元について調べる → inclusionAI(Ant Group) のモデル・ライセンス・記事のまとめ

