「MetricTrail」カメラ軌跡と絶対深度を推定するSLAM研究用モデル:配布ファイル一覧

「MetricTrail」カメラ軌跡と絶対深度を推定するSLAM研究用モデル:配布ファイル一覧

基本情報

項目 内容
リポジトリ nvidia/MetricTrail
公開元のまとめ NVIDIA のモデルとライセンスのまとめ
公開日 2026-11-05
ライセンス nvidia-open-model-license
配布形式 PyTorch (pth)
出典の種類 公開元の一次情報(公式HuggingFaceリポジトリ(nvidia)が一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

NVIDIAから、長尺のRGB画像シーケンスからカメラの運動軌跡とフレームごとの絶対尺度(メトリック)深度を推定するモデル「MetricTrail」1.0が公開されました。本モデルは、ビジュアルオドメトリ(VO)および3D空間再構成の研究を目的として開発されたツールです。

入力として時間順に並んだRGB画像シーケンスとカメラパラメータ(または選択的に同期された左右のステレオ画像シーケンス)を受け取り、フレームごとのカメラ軌跡、推定されたカメラ内部パラメータ、およびフレームレベルのメトリック深度とマスクを出力します。

スペック

公開されているMetricTrailの主なスペックおよび構成は以下の通りです。

  • パラメータ数: DINO-DPVOチェックポイントに含まれる学習パラメータ数は3,425,860(343万)個(FP32の重み/バイアステンソル100個)。凍結されたDINOv3バックボーンや外部のMoGe-2深度モデル等は除きます。
  • アーキテクチャ: 凍結されたビジュアル基盤モデル(DINOv3-S/16)の特徴量と、凍結されたMoGe-2メトリック深度プロバイダー、DPVOのスパースパッチ対応ネットワーク、および学習型残差特徴融合アダプターを組み合わせた学習型リカレントビジュアルオドメトリ構成です。明示的なバンドル調整(BA)を含みます。
  • 入力仕様: 時間順のRGB画像シーケンス(PNG形式またはKITTI NPZ形式の uint8 [N,3,H,W])およびカメラパラメータ。構成に応じて最低16画像以上のインベントリが必要です。
  • 出力仕様: カメラ軌跡 c2w および逆変換 w2c(形状 [N,4,4])、カメラ内部パラメータ intrinsics(形状 [N,4])、キャッシュされたメトリック深度(FP32 [N,H,W]、単位はメートル)、プロバイダーマスク(uint8 [N,H,W])。
  • 推論解像度設定: Canonical KITTIおよびVBR構成では280 x 504、Oxfordでは378 x 518、7Scenes評価では434 x 574が使用されます。
  • ライセンス・利用条件: 研究開発目的(Research and development only)に限定されて公開されています。

性能・品質

モデルカードで公表されているベンチマーク評価結果です。複数のデータセットにおける軌跡精度(平均ATE: Absolute Trajectory Error)および3D再構成評価スコアが示されています。

軌跡精度(平均ATE)

Benchmark / configuration Average ATE
KITTI Odometry, RGB-only calibration, without LC 14.05 m
KITTI Odometry, RGB-only calibration, with LC 9.78 m
KITTI Odometry, supplied intrinsics, with LC 7.39 m
KITTI Odometry, calibrated stereo, with LC 3.00 m
Oxford Spires, RGB-only calibration, without / with LC 1.77 / 1.77 m
VBR, RGB-only calibration with revisit focal refinement, without / with LC 16.36 / 10.88 m
7Scenes, RGB-only calibration, local / with global BA 6.7 / 6.3 cm
TUM RGB-D, RGB-only calibration, local / global BA / global BA plus refinement 8.4 / 4.9 / 4.4 cm
TUM RGB-D, supplied intrinsics, local / global BA / global BA plus refinement 7.5 / 4.1 / 3.7 cm
LaMAria, RGB-only calibration / supplied intrinsics 8.73 / 8.58 m
Wild-SLAM MoCap, RGB-only calibration / supplied intrinsics 2.70 / 1.65 cm

3D再構成評価

Benchmark CD (m, lower is better) F1 (%, higher is better) Threshold
7Scenes 0.04 97.60 0.25 m
TUM-Dynamic 0.13 89.58 0.25 m
Oxford Spires 0.98 95.12 4 m

評価結果をみると、外部のカメラ内部パラメータ(supplied intrinsics)や同期ステレオ(calibrated stereo)、ループ閉鎖(LC)およびグローバルBAを組み合わせることで精度が大幅に向上する傾向が示されています。例えばKITTI Odometryにおいて、RGB単体のキャリブレーションでLCなしの場合は平均ATEが14.05 mですが、キャリブレーション済みステレオとLCを組み合わせることで3.00 mまで誤差が改善しています。また、屋内環境である7ScenesやTUM RGB-D、動体を含むWild-SLAM MoCapでは数センチメートル単位の優れた推定精度を達成している一方で、走行距離が長いVBRや屋外のLaMAriaといった環境ではメートル単位の誤差が生じるなど、シーンのスケールや条件による精度差も見られます。

得意なこと・想定用途

MetricTrailは、長尺の動画シーケンスからカメラの運動軌跡とフレームごとの絶対尺度(メトリック)深度を高精度に復元する用途に特化しています。コンピュータビジョン、グラフィックス、シミュレーション、ロボティクス分野における3D空間再構成やSLAM・ビジュアルオドメトリ(VO)技術の研究を目的として設計されています。

具体的には、以下のような研究用途が想定されています。

  • 長尺動画におけるカメラ運動推定と3D再構成: 長時間の連続した画像シーケンスから、一貫したカメラ軌跡とメトリック深度を推定する研究に適しています。内部で利用されるDPVOのフレームバッファは標準で32,768フレームの容量を持っており、数千から数万フレーム規模の大規模シーケンスにも対応可能です。
  • 多様なカメラ構成の比較検証: 事前にキャリブレーションされた単眼カメラ、画像シーケンスのみからカメラ内部パラメータを推定するRGB単体モード、さらに左右の同期が取れた平行化ステレオカメラといった複数のセットアップに対応しており、入力条件ごとの精度比較や挙動の検証に活用できます。
  • 屋内・屋外の多様な実環境データの処理: KITTIなどの車載走行データ、7ScenesやTUM RGB-Dなどの屋内手持ちカメラ、Oxford Spiresのような屋外歩行データ、Wild-SLAM MoCapのような動的オブジェクトを含むシーンなど、幅広い環境での検証実績があります。
  • 単眼メトリック深度とスパース最適化の統合研究: 独立した単眼深度推定モデル(MoGe-2)の出力を幾何学的な初期値および軟制約(ソフト制約)として活用しつつ、局所的なバンドル調整によって多視点の一貫性を保つハイブリッドな最適化手法の検証が行えます。

なお、MetricTrailのCLIが直接出力するのはカメラ軌跡データ(NPZ形式)とフレーム単位のメトリック深度およびマスク(RAW/JSONキャッシュ)であり、密な点群データやポリゴンメッシュそのものを直接ファイル出力する機能は備わっていません。3D形状の復元を行う場合は、出力されたカメラ軌跡と深度マップ、カメラ内部パラメータを組み合わせて逆投影する後処理パイプラインが別途必要となります。また、深度推定が有効とみなされる範囲はカメラZ軸方向で0.2〜500mに制限されており、この範囲外や無効値のみで構成されるフレームが存在する場合はトラッキングが停止する仕様となっています。

学習には、TartanAir、TartanGround、CarlaOcc、LightwheelOcc、OmniWorld-Gameの5つの合成シミュレーションおよびゲームデータセットからサンプリングされた計240,000クリップ(各15フレーム)が使用されており、実人物の個人情報を含まない合成環境のみで fine-tuning が行われています。

配布ファイル

nvidia/MetricTrail で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
dino_dpvo.pth 14MB

入手方法

MetricTrailは、Hugging Faceの nvidia/MetricTrail リポジトリにてソースコードおよび関連ファイルが公開されています。

配布形式や実行に必要な手順は以下の通りです。

  • リポジトリ構成と重みの入手: ソースリポジトリ自体にはモデルの重みファイルは含まれていません。学習済みのDINO-DPVOチェックポイント(dino_dpvo_multidataset15k.pth、PyTorch形式)は、Hugging Face上で別途提供される予定となっています。利用時は、ダウンロードした重みファイルを ckpt/dino_dpvo_multidataset15k.pth に配置するか、設定ファイル内の paths.dino_dpvo_checkpoint でパスを指定します。
  • 外部モデルの依存関係: 凍結バックボーンとして使用するDINOv3(dinov3_vits16_pretrain_lvd1689m-08c60483.pth)や、メトリック深度推定を行うMoGe-2(Ruicheng/moge-2-vitl)、必要に応じたキャリブレーション用・RoMaなどの外部モデルもそれぞれ個別にダウンロードして用意する必要があります。
  • 対応環境: ドキュメント記載の動作環境はLinux x86_64、Python 3.10、PyTorch 2.5.1、CUDA 12.4です。その他にxformers、yacs、OpenCV、Pillow、SciPyなどのライブラリが必要です。ハードウェアとしてはNVIDIA Ampere世代(A100)での検証が記載されており、トラッキングパイプラインの実行にはCUDA対応GPUが必須となります。
  • カスタムCUDA拡張のビルド: 配布物には事前コンパイル済みのバイナリが含まれていないため、トラッキングを実行する前に推論環境内で cuda_corr、cuda_ba、lietorch_backends の3つのDPVO CUDA拡張をソースからビルドする必要があります。ビルドには互換性のあるC++コンパイラ、nvcc を含むCUDAツールキット、およびEigen 3.4.0のヘッダーファイルが必要です。
  • 実行コマンド: メインのトラッキング処理は以下のコマンドで実行します(デフォルトでは cuda:0 が使用されます)。
    bash PYTHONNOUSERSITE=1 python -m metrictrail.cli --config <設定ファイルのパス> また、オプションのループ補正(Loop Correction)を実行する場合は、外部ツールで生成した候補ペアJSONを用意した上で、CPU上で動作する専用CLIを実行します。 bash python -m metrictrail.lc_cli --config <設定ファイルのパス> --case <ケース名> --candidate-file <候補JSONのパス> --candidate-sha256 <候補ファイルのSHA256>

手元で動かせるか

公開元の配布形式は PyTorch (pth) です。

ライセンス nvidia-open-model-license: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(nvidia-open-model-license)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

関連記事

次に読むなら

出典