Duo-1.2-causal-base: 全二重マルチモーダルワールドモデル

Duo-1.2-causal-base: 全二重マルチモーダルワールドモデル

基本情報

項目 内容
リポジトリ inclusionAI/Duo-1.2-causal-base
公開元のまとめ inclusionAI(Ant Group) のモデルとライセンスのまとめ
公開日 2026-11-12
ライセンス minimax-h3-community-license
配布形式 safetensors
論文 arXiv:2611.15131
出典の種類 公開元の一次情報(公式HFアカウントで公開されており一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

inclusionAIから、リアルタイムな音声・映像相互作用(オーディオ・ビジュアル・インタラクション)を実現する全二重マルチモーダルワールドモデル「Duo-1.2-causal-base」のモデル重みが公開されました。本モデルは、生成品質が向上したDuo 1.2のcausal-baseモデル重みであり、リアルタイム処理に向けた各種コンポーネントがパッケージ化されています。ローカル環境やサーバー上でリアルタイムなマルチモーダル対話システムやワールドモデルを構築・検証したい技術者にとって関心の高いモデルです。

モデルカードが指し示す論文「Duo: A Reciprocal World Model for Full-Duplex Interaction」によれば、本モデルは知性と物理的現実を等しくワールドの根幹をなす基本要素として扱う「Reciprocal World Model (RWM)」の構想に基づいて設計されています。従来型のワールドモデルが主に物理的現実のシミュレーションに焦点を当てていたのに対し、RWMでは世界との相互作用における認知を担う「Intent」と、整合性のある音声・映像表現を生成する「Realization」という2つの能力を統合しています。これにより、実時間で連続的に音声や映像を認識しながら、ユーザーからの割り込みや自発的な会話に対応できる全二重インタラクションの実現を目指しています。

スペック

モデルカードおよびメタデータに記載されている構成・スペックは以下のとおりです。

  • バージョン: Duo 1.2
  • バリアント: Causal base
  • パッケージ構成: Complete model bundle
  • Realization フォーマット: PyTorch Distributed Checkpoint (DCP)
  • デフォルトサンプラー: Euler, 50 steps, flow shift 1.0

性能

モデルカードの「Model Overview」節に掲載されている表の情報は以下のとおりです。

Field Value
Version Duo 1.2
Variant Causal base
Package Complete model bundle
Realization format PyTorch Distributed Checkpoint (DCP)
Default sampler Euler, 50 steps, flow shift 1.0

本モデルのモデルカードおよびメタデータには、ベンチマークテストによる他モデルとの定量的な比較表や評価スコアのデータは掲載されていません。また、Hugging Faceの評価結果データ領域(benchmarks)にも数値データは含まれていません。

モデルカードでの定性的な説明および論文の記載によれば、Duo 1.2は旧バージョンと比較して生成品質の向上が図られていると報告されています。具体的には、リアルタイムでの連続的な音声・映像・テキスト入力の認識処理と全二重相互作用、会話中の自然な割り込みへの適応、さらにはキーボードやマウスを使わない音声・映像主体のガイドアシスタントやインタラクティブゲームといった用途に対応できる機能性が提示されています。

得意なこと・想定用途

Duo-1.2-causal-baseは、リアルタイムな音声・映像・テキスト入力を連続的に認識し、ユーザーとの全二重(Full-Duplex)な相互作用を可能にするマルチモーダルワールドモデルです。機能タグとしては video-generation、audio-generation、world-model、duo-world-model などが設定されており、動画生成や音声生成を一体として扱うワールドモデル処理を得意としています。

論文およびモデルカードの記述によれば、本モデルの主な得意分野および想定用途は以下のとおりです。

  • 全二重対話と割り込み処理: 音声や映像入力を絶え間なく認識し続ける設計により、ユーザーからの発話に自発的に応答したり、途中で会話を遮る割り込み(interruptions)に対しても柔軟に対応したりする対話システムを構築できます。
  • マルチモーダルな空間・オブジェクト操作: カメラを通した現実世界のオブジェクトの共有、仮想シーンの変更や再構築といった視覚的な操作・認識に対応します。マウスやキーボードを用いない、音声や映像のみを主軸としたガイドアシスタントや、インタラクティブなオーディオビジュアルゲームなどのアプリケーション開発に向いています。
  • 統合型パッケージによる包括的な機能提供: モデルパッケージには、世界表現と一貫した応答出力を担う Realization のバックボーンと重み、認知や意志決定を行う Intent モデルとアライメント用のアダプターがまとめて格納されています。さらに、ビデオおよびオーディオの各種コーデック、音声認識器(speech recognizer)、強制アライナー(forced aligner)といったコンポーネントが同梱されており、リアルタイム全二重システムに必要な一連の機能を網羅しています。ランタイムへの統合時には realization/complete.json を介して構成を認識させることが可能です。

入手方法

Duo-1.2-causal-base のモデルファイル群は、Hugging Face のリポジトリ inclusionAI/Duo-1.2-causal-base から取得できます。配布形式としては safetensors や PyTorch Distributed Checkpoint(DCP)が採用されています。

Hugging Face CLI を用いたモデル一式のダウンロードコマンドは以下のとおりです。

hf download inclusionAI/Duo-1.2-causal-base --local-dir weights

統合用のコードや各種設定ファイル、動作手順の詳細については、開発元の公式 GitHub リポジトリである inclusionAI/Duo から入手できます。

なお、本モデルは事前申請や個別の承認手続きを必要とする gated モデルではありません。ただし、適用ライセンスは minimax-h3-community-license と指定されています。商用利用の条件や規約に関する制限については、ダウンロードおよび組み込みを行う前にライセンス条項を確認してください。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス minimax-h3-community-license: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(minimax-h3-community-license)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

関連記事

次に読むなら

出典