NVIDIA Snapshot発表:vLLMやSGLangの起動を数秒に短縮

NVIDIA Snapshot発表:vLLMやSGLangの起動を数秒に短縮

基本情報

項目 内容
公開元のまとめ NVIDIA のモデルとライセンスのまとめ
公開元 NVIDIA Developer
公開日 2026-11-11
ライセンス Apache-2.0
出典の種類 公開元の一次情報(NVIDIA公式開発者ブログによる一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

NVIDIAは、Kubernetes環境においてGPUワークロードの初期化状態を保存・復元するオープンソースツール「NVIDIA Snapshot」(リポジトリ: ai-dynamo/snapshot)を発表しました。NVIDIA SnapshotはGo言語で開発されており、Apache-2.0ライセンスで提供されています。本ツールは、Kubernetes上で動作するPodの完全初期化されたCPUおよびGPUメモリの状態をキャプチャし、互換性のある基盤上で復元する機能を提供します。

利用者に最も影響の大きい変更は、推論エンジンのコールドスタート時間を数分単位から数秒単位へ劇的に短縮できる点です。完全に初期化された状態から復元を行うため、モデル重みの読み込みや torch.compile によるコンパイル、CUDAグラフのキャプチャ処理をスキップできます。テストされた環境では復元時間が3.6秒から42.7秒となり、コールドスタートと比較して8倍から36倍の高速化を達成しています。

主な変更点

CPUおよびGPUメモリ状態の高速チェックポイント&リストア機能

NVIDIA Snapshotは、完全に初期化された推論ワーカーのプロセス状態をキャプチャし、Kubernetesのカスタムリソースを介して復元します。これにより、従来の起動プロセスに含まれていたスタートアップ処理、モデル重みの読み込み、メモリアロケーション、カーネルのコンパイルおよびCUDAグラフのキャプチャといった時間のかかるステップをスキップできます。

この機能は、Kubernetes上で推論インフラを運用するプラットフォームエンジニアや開発者に影響します。チェックポイントの作成(PodSnapshot または SnapshotJob)は、モデルと構成ごとに1回だけ実行する事前準備であり、処理時間は15秒から5.5分で完了します。復元時は、新しいPodの注釈に nvidia.com/restore-from を指定するだけで復元が開始されます。なお、アーティファクトの肥大化を防ぐため、チェックポイント作成直前にKey-Value(KV)キャッシュの解放が自動的にトリガーされます。

マルチGPUおよび大規模MoEモデルへの対応

単一ノード内の複数GPUにまたがるワークロードを、単一のチェックポイントアーティファクトとして保存・復元する機能を備えています。テンソル並列(TP)、データ・エキスパート並列(DEP)、デコードコンテキスト並列(DCP)などの並列化手法に対応しています。

8基のGPUを使用する大規模なMixture-of-Experts(MoE)モデルなど、最大1 TBクラスのチェックポイントを持つ構成を運用しているユーザーに大きな影響を与えます。NVIDIA B200 GPUとVAST(NFS)ストレージを使用した検証では、8 GPU構成におけるGPU状態の復元(CUDA restore)に18秒から29秒、CRIUを用いたCPUプロセスの復元に4.2秒から10.8秒を要し、大型モデルであっても43秒未満でリストアを完了しています。

vLLM・SGLang・TensorRT LLMにおける起動性能の改善

主要な推論エンジンであるvLLM、SGLang、NVIDIA TensorRT LLM(TRT-LLM)に対応した設定サンプルが用意されており、パラメータ数6億(600 million)の小型モデルから超大型モデルまで幅広く高速起動が可能です。

  • vLLM 0.31.0: Qwen3-0.6B(TP1)のリストア時間が4.66秒(コールドスタート104.43秒から22.40倍高速化)、DeepSeek-V4.1-Flash(TEP8)のリストア時間が30.96秒(コールドスタート1110.65秒から35.87倍高速化)。
  • SGLang 0.5.21: Qwen3-0.6B(TP1)のリストア時間が3.59秒(24.26倍高速化)、DeepSeek-V4-Pro-NVFP4(TEP8)のリストア時間が42.69秒(14.56倍高速化)。
  • TensorRT LLM 1.3.0: gpt-oss-120b(TP1)のリストア時間が7.79秒(25.75倍高速化)。

既存の推論処理を更新する際は、ワークロード側にチェックポイント前の動作停止と復元後の再開を行う小さなハンドシェイク処理を実装する必要があります。

対応モデル・ハードウェア

NVIDIA Snapshotの検証環境および対応ハードウェア・推論エンジン・モデルの構成は以下の通りです。

動作検証環境

  • GPU: NVIDIA B200、NVIDIA HGX B300
  • NVIDIA Driver: 615.71.09
  • ストレージバックエンド: VAST (NFS)

対応推論エンジン

  • vLLM: バージョン 0.31.0
  • SGLang: バージョン 0.5.21
  • TensorRT LLM (TRT-LLM): バージョン 1.3.0

対応モデル・並列化手法・精度表記

小型の密モデルから、NVFP4精度を用いた超大型のMixture-of-Experts(MoE)モデルまで、幅広いアーキテクチャでチェックポイント作成および復元が可能です。単一GPU構成(TP1)から、8基のGPUを使用するマルチGPU構成(TEP8)まで対応しています。

具体的にベンチマークおよび動作確認が行われているモデルと構成の組み合わせは以下の通りです。

  • Qwen3-0.6B: テンソル並列 TP1(vLLM, SGLang, TRT-LLM)
  • Qwen3-14B: テンソル並列 TP1 / TP2(vLLM, SGLang, TRT-LLM)
  • gpt-oss-120b: テンソル並列 TP1 / TP4(vLLM, SGLang, TRT-LLM)
  • GLM-5.3-NVFP4: テンソル・エキスパート並列 TEP8(vLLM, SGLang, TRT-LLM)
  • DeepSeek-V4.1-Flash: テンソル・エキスパート並列 TEP8(vLLM, SGLang)
  • DeepSeek-V4-Pro-NVFP4: テンソル・エキスパート並列 TEP8(vLLM, SGLang)

マルチGPUワークロードにおいては、テンソル並列(TP)のほか、データ・エキスパート並列(DEP)やデコードコンテキスト並列(DCP)といった戦略を組み合わせた状態でも、単一ノード内の複数GPU状態を単一のアーティファクトとして保存・即時復元できます。

アップデート方法

NVIDIA Snapshotは、Kubernetesクラスタに対して単一のHelmリリースとしてインストールします。構成要素は、コントロールプレーンを管理するオペレータと、GPUノード上で特権実行されるノードエージェント(DaemonSet)の2つです。Snapshot自体は専用のネームスペースにインストールし、GPUワークロードは別のネームスペースで実行する構成が推奨されています。

インストール手順の概要

公式リポジトリからは以下の2種類の方法でデプロイが可能です。

  1. リリースパッケージからの導入(推奨): 公開されているリリースイメージを使用してHelm経由でクラスタにデプロイします。
  2. ソースコードからの導入: ローカルでコンテナイメージをビルドし、クラスタへデプロイします。

カスタムリソースによる運用

クラスタへのインストール完了後は、Kubernetesの標準的なカスタムリソース(CRD)操作によってチェックポイントと復元を制御します。

  • PodSnapshot(ネームスペーススコープ): 稼働中のGPU Podを指定してチェックポイントの作成を要求するリソースです。
  • SnapshotJob(ネームスペーススコープ): 定義されたテンプレートからPodを起動し、初期化が完了したタイミングで自動的にチェックポイントを取得する自己完結型のジョブです。
  • PodSnapshotContent(クラスタスコープ): オペレータが管理するシステムリソースで、物理的なチェックポイントアーティファクトと PodSnapshot を紐付けます。
  • nvidia.com/restore-from(アノテーション): 新しく作成するPodの注釈に指定することで、同一ネームスペース内の PodSnapshot からの状態復元をトリガーします。

運用手順の詳細や、vLLM・SGLang・TensorRT LLMそれぞれの設定手順については、NVIDIA Snapshotリポジトリ内のドキュメント(docs/get-started/quickstart.md および docs/using-snapshot/README.md)を参照してください。

関連記事

次に読むなら

出典