「NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16」:必要VRAM 80GB〜

「NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16」:必要VRAM 80GB〜

基本情報

項目 内容
リポジトリ nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16
まとめページ NVIDIA-Nemotron-3.5-Super-VL のまとめ(記事2本)
公開元のまとめ NVIDIA のモデルとライセンスのまとめ
公開日 2026-10-13
ライセンス openmdw-1.1
配布形式 safetensors
出典の種類 公開元の一次情報(公式HFリポジトリからの一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

NVIDIA Corporationは、推論、コーディング、ツール利用、文書理解、動画理解に対応する視覚言語モデルのフル精度版である「NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16」を公開しました。このBF16モデルは、カスタマイズやドメイン適応、フル精度での評価を目的とする開発者向けに提供されています。モデルカードによれば、Mamba-2、Mixture-of-Experts(MoE)、アテンション層をC-RADIOビジョンエンコーダーおよびビジョン言語コネクターと組み合わせたハイブリッドアーキテクチャを採用しています。

スペック

  • アーキテクチャ: Mamba-2–Transformer hybrid Mixture of Experts (MoE) with Multi-Token Prediction (MTP)
  • パラメータ数: 120B total / 12B active
  • コンテキスト長: Up to 1M tokens

性能

モデルカードに記載されているベンチマークの比較表(他のオープンウェイトモデルなどを含む)は以下のとおりです。

→ 横にスクロールできます

Benchmark Nemotron 3.5 SuperGA BF16 Qwen3.5-122B-A10B Qwen3.8-Flash-Next DeepSeek-V4-Flash0731 Nemotron 3 Ultra
GPQA-Diamond 89.52 86.7 92.7 89.6 87.0
HLE, text-only 31.79 24.2 39.6 35.8 29.2
MMLU-ProX 76.91 83.2 83.0 85.5 83.1
LiveCodeBench v6 88.22 76.7 94.1 94.6 89.2
SWE-bench Verified 71.10 71.9 78.7 75.4 73.9
SWE-bench Pro 51.78 44.9 60.37 56.91 49.66
Terminal-Bench 2.1 66.70 48.70 85.80 76.80 54.80
OSWorld-Verified 51.14 51.5 55.8 N/A N/A

公開元の評価結果によれば、科学の難問を測るGPQA-Diamondでは89.52を記録し、比較対象の一部モデルを上回るスコアを示しています。また、競技プログラミングの新作問題を扱うLiveCodeBench v6や、エージェントによる端末操作を評価するTerminal-Bench 2.1などにおいても高い数値を記録しています。一方で、MMLU-ProXなどの一般知識に関する指標では他の比較モデルを下回る項目もあり、すべての分野で最高値を獲得しているわけではありません。

得意なこと・想定用途

このモデルは、テキスト、画像、動画の3つのモダリティを統合して処理できる点が最大の特徴です。特に、最大1M(100万)トークンという極めて長いコンテキスト長をサポートしているため、数千ページに及ぶ膨大な文書の理解や、最大2分間の動画内容の解析、複雑な対話履歴を維持したままの高度な推論に適しています。

具体的な得意分野と想定される用途は以下の通りです。

  • マルチモーダルな文書・動画理解: C-RADIOビジョンエンコーダーを搭載しており、画像内のテキストや数式を正確に読み取るOCR機能、および動画内の出来事を時系列で把握する能力に長けています。ドキュメント解析やビデオ要約などのタスクで高いパフォーマンスを発揮します。
  • 高度なコーディングとエージェントタスク: ソフトウェアエンジニアリングに特化した中間トレーニング(Mid-Training)を経ており、実在のGitHub issueを解決する能力や、ターミナル上でコマンドを実行して作業を完遂するエージェントとしての利用に向いています。LiveCodeBenchやSWE-benchでの高いスコアがその実力を裏付けています。
  • ネイティブな投機的デコード: Multi-Token Prediction(MTP)ヘッドを内蔵しているため、追加のドラフトモデルを用意することなく、モデル単体で投機的デコード(Speculative Decoding)を実行できます。これにより、推論速度の向上が期待できます。
  • 多言語対応とカスタマイズ: 日本語を含む複数の主要言語に対応しています。また、BF16のフル精度版として公開されているため、特定の業務ドメインに特化させたファインチューニングや、独自の量子化モデルを作成するためのベースモデルとして最適です。

これらの能力は、20兆トークン以上の基礎トレーニングデータや、10兆トークンを超えるテキストデータ、さらに100万から10億枚の画像、1万から100万時間の動画を含む膨大なデータセットによって構築されています。特に、数学、科学、法律、金融といった専門領域のデータや、高品質なコードデータが重点的に学習されています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 124.5B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
A100 / H100 80GB クラス Q3_K_XL 61.2GB 73.5GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 ファイルサイズは変換版 unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF の配布ファイルの実測値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp で動かせます(変換版を利用)。

公開元の配布は safetensors ですが、unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF が GGUF版を公開しているため、そちらを使えば手元で動きます。

ライセンス openmdw-1.1: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(openmdw-1.1)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 40B超 のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
deepseek-ai/DeepSeek-V4.1-Flash-1017 763.2B — mit 「DeepSeek-V4.1-Flash-1017」VLMモデル:必要メモリ約570GB・GGUF版あり(2026-11-17)
Qwen/Qwen3.8-Flash-Next 180.0B — qwen-community-1.0 「Qwen3.8-Flash-Next」マルチモーダル対応のMoEモデル:必要メモリ約402GB(2026-10-04)
ggml-org/GLM-5.3-Flash-GGUF 321.3B — other 「GLM-5.3-Flash-GGUF」VLMモデル:必要メモリ約150GB(2026-10-03)
bartowski/Intern-S2-397B-GGUF 403.4B — apache-2.0 「Intern-S2-397B-GGUF」科学分野向けマルチモーダル基盤モデル:必要メモリ約102GB(2026-09-15)
deepseek-ai/DeepSeek-V4.1-Flash 763.2B — mit 「DeepSeek-V4.1-Flash」552BのマルチモーダルMoEモデル:必要メモリ約570GB(2026-09-10)

入手方法

本モデルはHugging Faceのリポジトリから、safetensors形式で入手可能です。ライセンスは「OpenMDW-1.1」が適用されており、商用および非商用の両方で利用が可能です。現時点で、入手に際して個別のライセンス同意が必要なゲート(gated)設定はされていません。

主な実行環境としては、vLLM(nightly版またはv0.32.0以降)やSGLang(v0.5.20以降)が推奨されています。BF16フル精度での運用には高い計算リソースが必要であり、公式では4枚のH100 GPU、または2枚のGB200 GPUを用いた構成が例示されています。

vLLMを使用してサーバーを起動し、画像や動画の入力を受け付ける際のコマンド例は以下の通りです。

export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16

vllm serve $MODEL \
  --served-model-name nemotron-3.5-super-vl \
  --tensor-parallel-size 4 \
  --trust-remote-code \
  --gpu-memory-utilization=0.85 \
  --allowed-local-media-path=/ \
  --max-num-seqs=32 \
  --limit-mm-per-prompt '{"video": 1, "image": 1}' \
  --video-pruning-rate 0.5 \
  --media-io-kwargs '{"video": {"fps": 2, "num_frames": 256}}' \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3 \
  --speculative_config.method mtp \
  --speculative_config.num_speculative_tokens 3

推論時の推奨パラメータとして、テキスト生成ではtemperature 1.0、top_p 0.95、視覚タスクではtemperature 0.6、top_p 0.95が提示されています。また、チャットテンプレートの enable_thinking 引数を制御することで、推論(思考)モードの有効・無効を切り替えることができます。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-10-16 unsloth GGUF unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF Q3_K_XL 73.5GB(80GB VRAMで動作)
2026-11-17 nvidia NVFP4 nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 NVFP4 83.8GB(単体のGPUには収まらない)
2026-11-17 nvidia NVFP4 nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr NVFP4 1.5GB(4GB VRAMで動作)
2026-11-17 DevQuasar GGUF DevQuasar/nvidia.NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16-GGUF Q3_K_M 75.1GB(80GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF の量子化: IQ1_M 43.0GB / IQ2_XXS 47.6GB / IQ2_M 52.0GB / Q2_K_XL 53.8GB / IQ3_XXS 55.7GB / Q3_K_XL 61.2GB / Q4_K_XL 80.9GB / Q5_K_XL 103.1GB / Q6_K_XL 112.7GB / Q8_0 122.6GB
  • nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 の量子化: NVFP4 69.9GB
  • nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr の量子化: NVFP4 1.2GB
  • DevQuasar/nvidia.NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16-GGUF の量子化: Q2_K 49.8GB / Q3_K_M 62.6GB / Q4_K_M 80.1GB / Q5_K_M 89.1GB / Q6_K 105.2GB / Q8_0 119.6GB

このほか、上記以外の投稿者による変換版が 32 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-17: 変換版を「派生版・量子化版」に追記しました: nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4, nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr, DevQuasar/nvidia.NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16-GGUF
  • 2026-11-17: 動作環境の表を unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF の実ファイルサイズで更新しました。
  • 2026-11-17: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。