NVIDIA NIM最適化でNemotron 3 Ultraのスループットが2.5倍に向上
概要
NVIDIAは2026年9月、Nemotron 3 Ultra向けNIM（NVIDIA Inference Microservice）の最適化により、4xB200システム上でのシステムスループットがベースラインと比較して最大2.5倍に向上したと発表した。NIM 2.0.12最適化サービングスタックを用いることで、ユーザーあたり50 TPSのターゲットにおいて1,997トークン/秒のスループットを実現している。
発表の内容
今回公開されたNIM 2.0.12最適化サービングスタックは、オープンソースのベースライン構成（NIM Off）と比較して大幅な性能向上の結果を示している。ネイティブな256K最大コンテキストでのテストでは、ベースラインの718トークン/秒に対し、最適化されたNIMスタックでは1,997トークン/秒を記録した。
この性能向上は、単一の機能ではなく複数の最適化レイヤーが組み合わさることで達成されている。主な最適化技術には、Blackwellアーキテクチャ向けに自動チューニングされた混合専門モデル（MoE）およびMambaカーネル、4基のGPUにモデルを分散させるテンソル並列実行、プレフィックスおよびモデル状態の再利用（プレフィックスキャッシュや部分プレフィックスマッチングを含む）、スケジューラ・バッチ処理・メモリのチューニング、そしてMTP（Multi-Token Prediction）推論デコードが含まれる。
また、NIMはモデルおよびGPUを意識したサービング設定を検証済みの構成、標準API、コンテナライフサイクルとともにパッケージ化している。さらにNVIDIA AI Enterpriseを通じた商用サポート、定期的な推論スタックの更新、CVE（共通脆弱性識別子）への対応なども提供される。
ローカルLLMの利用者への影響
手元のNVIDIA製GPUインフラストラクチャでオープンウェイトモデルを運用する技術者にとって、今回の発表は推論のスループットと実効性能を引き上げるための具体的な実行パスを提供するものである。
- 開発者はNGCからNemotron 3 Ultra NIM（バージョン2.0.12など）をダウンロードし、ローカルのNVIDIA GPU環境でコンテナとしてデプロイできる。
- ドキュメントやプロファイルの選択肢（例:
vllm-nvidia-b200-nvfp4-tp4-pp1-throughput-90.0）が提示されており、推論デコードの有効化などの設定手順が示されている。 - 自身のトラフィック環境における性能測定には、NVIDIA AIPerfを用いた検証用コマンド（Mooncake形式のJSONLトレース等を使用）が案内されており、レイテンシのSLOに合わせたパレートポイントの選定が可能となっている。
- APIを中心とするかローカル実行とするかについては、NGCからのダウンロードによるローカル環境でのデプロイのほか、即座に試すためのホスト型APIも用意されていることが言及されている。