NVIDIA、物理世界での異常検知とビデオ検索に特化した「InternVideo2-CLIP-anomaly-dete…

NVIDIA、物理世界での異常検知とビデオ検索に特化した「InternVideo2-CLIP-anomaly-dete…

基本情報

項目 内容
リポジトリ nvidia/InternVideo2-CLIP-anomaly-detection
公開元のまとめ NVIDIA のモデルとライセンスのまとめ
公開日 2026-10-23
ライセンス nvidia-internal-scientific-research-and-development-model-license
配布形式 PyTorch (pth) / safetensors / ONNX
出典の種類 公開元の一次情報(NVIDIA公式HFリポジトリで裏付けあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

NVIDIAは、ビデオクリップとテキスト記述を共通の埋め込み空間にエンコードし、テキストによるビデオ検索やゼロショットでの行動分類を可能にするモデル「InternVideo2-CLIP-anomaly-detection」を公開しました。このモデルは、物理世界におけるビデオコレクション(倉庫、小売、交通、一般的な活動の映像など)からのイベント検索や異常検知を目的として、NVIDIAのTAO(Train, Adapt, Optimize)ツールキットを用いて微調整されています。

OpenGVLabの「InternVideo2-CLIP-L14」をベースモデルとし、Appleの「MobileCLIP-B-LT」テキストエンコーダを組み合わせて構築されています。学習には「NVIDIA PhysicalAI-Event-Videos」データセットのサブセットが使用されており、ビジョン側へのLoRA(Low-Rank Adaptation)適用と保存正則化(preservation regularization)によって、元の汎用性能を維持しつつ特定ドメインへの適応を図っています。

スペック

資料に記載されているスペックは以下の通りです。

  • パラメータ数: 約3.7 × 10^8 (373,342,467、うちLoRAパラメータは589,824)
  • アーキテクチャ: Transformer(InternVideo2-CLIP-L14 ビジョンエンコーダ + 凍結されたApple MobileCLIP-B-LT テキストエンコーダ)
  • ビジョンエンコーダ構成: 24ブロック、14ピクセル空間パッチ、隠れ層幅1,024、16アテンションヘッド
  • 埋め込み空間: 512次元(共有)
  • 入力仕様: ビデオは8フレーム(224 × 224、RGB)、テキストは最大77トークン

性能

公開元の測定によれば、本モデルは物理世界におけるイベント検索において、ベースモデルや他の大規模モデルを上回る精度を示しています。以下は「PhysicalAI-Event-Videos」テストサブセットを用いたイベント検索の評価結果です。

Model mAP Hit@1 Hit@5
Upstream IV2CLIP-L14 base 54.34% 50.69% 78.49%
This model (TAO fine-tune) 63.12% 59.11% 87.04%
Qwen3-VL-Embedding-2B (zero-shot) 59.67% 57.40% 84.67%
Qwen3-VL-Embedding-8B (zero-shot) 60.58% 58.03% 85.26%

この表から、本モデルはmAP(平均適合率)においてベースモデルから8.78ポイント向上しており、20億および80億パラメータ規模のQwen3-VL-Embeddingモデルをも上回る性能を発揮していることが分かります。特に、クエリのカテゴリ別では「Location(場所)」に関する検索で99.29%という極めて高いmAPを記録しています。

一方で、汎用的な行動分類ベンチマークである「Kinetics-400」での評価結果は以下の通りです。

Model Top-1 accuracy Top-5 accuracy
Upstream IV2CLIP-L14 base, recorded same-protocol reference 70.11% 89.60%
This model (TAO fine-tune) 69.19% 89.64%
Qwen3-VL-Embedding-2B (zero-shot) 67.62% 88.70%
Qwen3-VL-Embedding-8B (zero-shot) 69.57% 89.94%

汎用ドメインのKinetics-400においては、ベースモデルと比較してTop-1精度が0.92ポイント低下しています。これは特定のドメインに特化したことによるトレードオフと考えられますが、依然としてQwen3-VL-Embedding-2Bを上回る水準を維持しています。

また、TensorRT 10.16を用いた推論パフォーマンスについても報告されています。バッチサイズ1の場合の1秒あたりの処理クリップ数(Throughput)は、NVIDIA H100で152.9、L40Sで79.2、GB300(DGX Station)では287.2に達します。

得意なこと・想定用途

このモデルは、現実世界(フィジカルAI)におけるビデオ映像の検索や異常検知に特化しています。主な用途は、倉庫、小売店舗、交通状況、あるいは一般的な活動を記録したビデオコレクションから、特定のイベントや異常なシーンをテキストクエリで検索することです。モデルカードによれば、以下のタスクにおいて高い性能を発揮します。

  • テキストによるビデオ検索(Text-to-Video Retrieval): 自然言語のクエリとビデオの埋め込みを比較し、膨大なクリップの中から関連するシーンをランク付けして抽出します。例えば「倉庫内でのフォークリフトの接触」といった具体的なイベントを検索することが可能です。
  • ゼロショット行動分類: あらかじめ定義された行動クラスの記述とビデオ埋め込みを比較し、そのビデオがどの行動に該当するかを分類します。特定の行動を事前に学習させることなく、テキストによる指示だけで分類が行えます。
  • 物理世界での異常検知: 喧嘩、転倒、盗難などの異常なイベントを含む「NVIDIA PhysicalAI-Event-Videos」データセットで微調整されているため、監視カメラ映像のようなシーンでのイベント特定に強みがあります。特に「場所(Location)」に関する検索では、mAP 99.29%という極めて高い精度が報告されています。

モデルの出力は512次元のベクトル(埋め込み)であり、キャプションの生成やバウンディングボックスの出力、特定のイベント確率の算出などは行いません。あくまで検索や分類のための「特徴量抽出」を担うモデルです。開発者は、この埋め込みを用いてコサイン類似度を計算し、アプリケーション側でランキングや検索システムを構築する必要があります。

また、入力仕様として1つのクリップから8フレームを一様にサンプリングし、224 × 224ピクセルにリサイズして処理する設計となっています。現時点では英語の記述による評価のみが行われており、多言語対応や異なる解像度での品質は未確認であるとされています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 373M

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) F32 1.4GB 1.7GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 表のファイルは F32(32bit)で配布されたものの実サイズです。BF16 や量子化など低い精度で読み込めば必要なメモリは小さくなるため、最低条件ではなく配布そのままの大きさとして読んでください。低い精度での値は当サイトでは測っていません。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は PyTorch (pth) / safetensors / ONNX です。

ライセンス nvidia-internal-scientific-research-and-development-model-license: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(nvidia-internal-scientific-research-and-development-model-license)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

入手方法

モデルはHugging Faceのリポジトリ nvidia/InternVideo2-CLIP-anomaly-detection で公開されています。配布形式は、PyTorch用の重み(.pth)、safetensors、およびONNX形式が含まれています。

利用にあたっては、以下の点に注意してください。

  • ライセンス: 非営利の目的での研究利用に限定されています(NVIDIA Internal Scientific Research and Development Model License)。商用製品やサービスでの利用は許可されていません。
  • 動作環境・エンジン: NVIDIAのTAO Toolkit(バージョン7.0.1以降)での利用が想定されています。PyTorchによる精度の評価のほか、TensorRT 10.16を用いた高速な推論がサポートされており、ONNX形式からTensorRTエンジンを構築してデプロイすることが可能です。検証済みのハードウェアには、NVIDIA Ampere(A100)、Hopper(H100)、Ada Lovelace(L40S)、Blackwell(RTX PRO 6000 Server Edition, GB300)が含まれます。

具体的な操作は、TAO Toolkitの video_clip サブタスクを通じて行います。以下は主要なコマンドの例です。

# 埋め込み抽出または検索の実行
video_clip inference -e /path/to/inference.yaml

# 検索メトリクスの評価
video_clip evaluate -e /path/to/evaluate.yaml

# ONNX形式へのエクスポート
video_clip export -e /path/to/export.yaml

リポジトリには、マージ済みの重み(model.safetensors)のほか、LoRAアダプターが未マージのチェックポイント(model.pth)、モデル設定ファイル(model_config.yaml)、およびトークナイザーを含むONNXファイルが同梱されています。デプロイ時には、ビデオクリップを一度だけ埋め込むビジョンタワーと、検索時にクエリを処理する軽量なテキストタワーを分離して運用することで、より高速な検索システムを構築できるとされています。

関連記事

次に読むなら

出典