「NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4」:必要メモリ約84GB

「NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4」:必要メモリ約84GB

基本情報

項目 内容
リポジトリ nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
まとめページ NVIDIA-Nemotron-3.5-Super-VL のまとめ(記事2本)
公開元のまとめ NVIDIA のモデルとライセンスのまとめ
公開日 2026-10-13
ライセンス openmdw-1.1
配布形式 safetensors
出典の種類 公開元の一次情報(公式HFリポジトリからの一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

NVIDIAは、視覚言語モデル「Nemotron 3.5 Super VL」のNVFP4量子化版となる「NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4」を公開しました。本モデルは推論、コーディング、ツール利用、文書理解、動画理解に対応するオープンモデルであり、元となるBF16版から量子化考慮蒸留(Quantization-Aware Distillation)を行ってメモリ要件を低減しています。Mamba-2、Mixture-of-Experts(MoE)、アテンション層を組み合わせたハイブリッド構造を持ち、マルチトークン予測(MTP)による投機的デコーディングにも対応しています。

スペック

  • 総パラメータ数: 120B
  • 活性パラメータ数: 12B
  • アーキテクチャ: Mamba-2–Transformerハイブリッド Mixture of Experts(MoE層あたり512 routed experts、C-RADIOビジョンエンコーダー、ビジョン・言語コネクター、Multi-Token Prediction搭載)
  • コンテキスト長: 最大1Mトークン
  • 入力モダリティ: テキスト、画像(RGB、JPEG/PNG)、動画(MP4、最大2分)
  • 出力モダリティ: テキスト

性能

モデルカードに記載されている、元モデル(BF16版)と本量子化版(NVFP4版)のベンチマーク比較結果は以下のとおりです。評価設定やハーネスなどの条件を統一して比較された数値です。

Benchmark Nemotron 3.5 Super VL BF16 Nemotron 3.5 Super VL NVFP4
GPQA-Diamond 89.52 89.90
HLE, text-only 31.79 31.44
MMLU-ProX 76.91 73.76
AA-Omniscience accuracy 26.20 25.86
AA-Omniscience hallucination rate 30.0 27.7
AA-Omniscience index 4.03 5.3
APEX shortlist 88.36 89.36
LiveCodeBench v6 88.22 87.41
SciCode, subtask 47.13 46.61
AA-LCR v1.1 68.62 67.69
GraphWalks 89.71 90.34
IFBench 70.86 71.50
LMArena v3 proxy 52.67 51.93
WMT24++ 84.80 84.76
tau2-bench retail 69.24 69.30
tau2-bench airline 76.50 75.75
tau2-bench telecom 73.19 73.19
tau3-bench banking 18.88 17.78
GDPval-AA v2 1211 1206
BrowseComp 78 77.5
SWE-bench Verified 71.10 71.07
SWE-bench Multilingual 67.72 67.00
SWE-bench Pro 51.78 51.30
Terminal-Bench 2.1 66.70 60.80
BabyVision 29.60 29.51
MMLongBench-Doc 62.82 62.82
V* 85.60 85.95
OCR-Reasoning 65.08 65.09
MathVision 78.16 77.79
HLE, full set 29.20 29.00
OCRBench v2, EN 68.12 68.34
OCRBench v2, ZH 59.15 59.03
CharXiv reasoning 80.82 79.88
Video-MME v2 32.85 32.54
OSWorld-Verified 51.14 52.3
BrowseComp [offline] 78 77.5
WebVoyager [offline] 77.72 66.31
AA-Briefcase-Lite [offline] 1137 (-) | 1252 (-) | 40 1137 (-) | 1188 (-) | 45
AutomationBench-AA [offline] 32.44 32.3
GDP.pdf [offline] 6.6 (AA 6.6) 6.0
Terminal Bench 4 [offline] 1 1.5
DeepSWE [offline] 24.65 18.2

これらのスコアはモデル公開元であるNVIDIAが自ら測定・公表した数値です。表から分かるとおり、博士課程レベルの難問を扱うGPQA-Diamond(89.52対89.90)や、実際のOS画面を操作する能力を測るOSWorld-Verified(51.14対52.3)など、一部のタスクでは量子化後の方がわずかに高いスコアを記録しています。また、実在リポジトリの課題解決能力を測るSWE-bench Verified(71.10対71.07)や競技プログラミングの新作問題によるLiveCodeBench v6(88.22対87.41)、画像中の文字認識を測るOCRBench v2 EN(68.12対68.34)においても、BF16版と同等の高い精度を維持しています。

一方で、端末上でコマンドを実行してタスクを完遂する能力を評価するTerminal-Bench 2.1では66.70から60.80へとスコアが低下しているほか、WebVoyager [offline](77.72から66.31)やDeepSWE [offline](24.65から18.2)など、一部のエージェント系・特定タスクでは無視できない精度の落ち込みが見られます。全般として高度な推論やコード生成、視覚理解の能力は保たれているものの、複雑な自律環境操作タスクにおいては量子化によるトレードオフが存在することが伺えます。

得意なこと・想定用途

本モデルは、コーディング、検索、ツール支援型のワークフロー、文書の質問応答、および画像・動画の理解を担うマルチモーダルエージェントの構築を主目的として設計されています。

具体的には、静止画だけでなく最大2分のMP4動画を直接入力として受け付けることができ、C-RADIOビジョンエンコーダーを介して視覚情報を処理します。複数ページの文書をページ画像とテキストの組み合わせとして処理できるほか、最大1Mトークンという大規模なコンテキスト長を活かし、長大なソースコードベースの読み込みや過去の対話履歴、ツール実行結果を一括して保持しながら作業を継続することが得意です。

また、チャットテンプレートの引数を通じて思考モード(Reasoning)のオン・オフを切り替える機能(enable_thinking=True/False)を備えています。深い推論ステップを要する難関タスクでは思考を有効化し、高速な応答が求められる対話では無効化するといった柔軟な運用が可能です。対応言語タグには英語のほか、日本語(ja)、スペイン語、フランス語、ドイツ語、イタリア語が含まれています。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
84GB超のVRAMが必要(複数GPUまたはCPUオフロードが前提) NVFP4 69.9GB 83.8GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。

公開元の配布は safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。公開元と実績のある量子化担当以外による変換版は 12 件あります。現時点で動かすなら transformers(PyTorch)・vLLM で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス openmdw-1.1: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(openmdw-1.1)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

入手方法

本モデルの重みはsafetensors形式で提供されており、ライセンスにはOpenMDW-1.1が適用されています。商用利用および非商用利用の双方が許可されており、Hugging Face上での利用申請や同意手続き(Gated承認)を経ることなく直接ダウンロードできます。

推論エンジンとしては、vLLM、SGLang、TensorRT-LLMが公式にサポートされているほか、llama.cppやUnsloth向けの案内も提供されています。ハードウェアとしてはNVIDIA HopperやBlackwell世代が対象となっており、Blackwell環境ではW4A4、それ以外のプラットフォームではW4A16として推論が実行されます。

モデルのダウンロードはHugging FaceのCLIから実行できます。

hf download nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 --local-dir./models/super-vl-nvfp4

vLLMを利用して2基のH100 GPU(テンソル並列サイズ2)で1Mコンテキスト対応サーバーを立ち上げる場合、公式のDockerコンテナイメージ(vllm/vllm-openai:nightly-3f1bcfd82bb2e93fcd364fc7a5491718453a77e2 または vllm/vllm-openai:v0.32.0)上で次のコマンドを実行します。

export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4

vllm serve $MODEL \
  --served-model-name nemotron-3.5-super-vl \
  --tensor-parallel-size 2 \
  --max-num-seqs 128 \
  --trust-remote-code \
  --gpu-memory-utilization 0.89 \
  --max-num-batched-tokens 16384 \
  --block-size 64 \
  --prefix-match-unit 64 \
  --compilation_config.max_cudagraph_capture_size 256 \
  --mamba-backend flashinfer \
  --mamba-ssm-cache-dtype float16 \
  --enable-mamba-cache-stochastic-rounding \
  --mamba-cache-philox-rounds 5 \
  --enable-mamba-shared-prefix-checkpoint \
  --mamba-cache-mode align \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 3 \
  --video-pruning-rate 0.5 \
  --media-io-kwargs '{"video": {"fps": 2, "num_frames": 256}}' \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3

また、DGX Spark環境向けには専用の投機的ドラフターであるLiLiCorrを組み合わせたサービング構成も用意されており、生成の高速化を図ることができます。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-17 nvidia NVFP4 nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr NVFP4 1.5GB(4GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr の量子化: NVFP4 1.2GB

このほか、上記以外の投稿者による変換版が 12 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-17: 変換版を「派生版・量子化版」に追記しました: nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr