NVIDIA Dynamo 1.4.2向けKubernetes検証済みランタイム構築手順

基本情報
| 項目 | 内容 |
|---|---|
| 公開元のまとめ | NVIDIA のモデルとライセンスのまとめ |
| 公開元 | NVIDIA Developer |
| 公開日 | 2026-10-31 |
| ライセンス | NOASSERTION |
| 出典の種類 | 公開元の一次情報(NVIDIA公式開発者ブログが一次情報源) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
NVIDIAは、分散推論フレームワークであるNVIDIA DynamoをKubernetes上で安定して動作させるためのツール、NVIDIA AI Cluster Runtime (AICR) を活用した検証済みランタイムの構築方法を公開しました。AICRは、GPUドライバーのスタック、Dynamic Resource Allocation (DRA)、gang scheduling、ノードのヘルス信号、Prometheusメトリクスなどの実行時要件を、コンポーネントのバージョンを固定した再現可能な「レシピ」としてパッケージ化するものです。
今回の発表における最も重要な変更点は、Dynamo 1.4.2において、リクエストプレーンにTCPを、KV-cacheイベントにZMQを使用する構成が標準となったことです。これにより、ネイティブなDynamo Frontendルーターと、Gateway API Inference Extension (GAIE) / Endpoint Picker Plugin (EPP) を利用するパスの両方で、キャッシュを考慮したルーティングが可能になっています。
破壊的変更・非推奨
Dynamo 1.4以降、フロントエンド、ワーカー、およびオプションのGAIE/EPPコンポーネントは、Kubernetesリソースを通じて互いに発見されるようになりました。これに伴い、AICRのデフォルトのパスではNATSを使用しなくなり、dynamo-platform チャートのデフォルト設定からもNATSのインストールが除外されています。
| 項目 | 旧設定/仕様 | 新設定/仕様 |
|---|---|---|
| NATSの利用 | デフォルトでインストール | オプション(opt-in)でのみ利用可能 |
| APIバージョン | v1alpha1 | v1beta1 (DynamoGraphDeployment CRD) |
この変更は、Kubernetesネイティブな構成でDynamoを運用しようとしているプラットフォームチームに影響します。NATSが必要な特定のデプロイメントについては、明示的に有効にする必要があります。
主な変更点
2つのルーティングパスの提供
Kubernetes上でのDynamoの運用において、用途に応じた2つのルーティングパスが利用可能になりました。一つは「Dynamo Frontend router」を使用するパスで、これはモデル固有のエンドポイントを持つ最小限の構成に適しています。もう一つは「Gateway API / EPP」を使用するパスで、Gateway APIリソースを通じて管理される共有のKubernetes ingressと統合したい場合に適しています。どちらのパスも、ワーカーが公開するKV-cacheイベントを利用して、正確なキャッシュ認識ルーティングを実現します。
AICRによる検証済みレシピの導入
AICRを使用することで、インフラストラクチャの依存関係を管理する手間を軽減できます。AICRは、クラスターのスナップショット作成、Dynamo推論レシピの生成、デプロイメントバンドルのレンダリング、HelmfileやGitOpsによるデプロイ、そしてインストール後のランタイム検証という5つのステップを通じて、再現可能な環境構築を支援します。これにより、プラットフォームチームは、GPU OperatorやKAI Scheduler、Prometheusスタックなどの複雑なコンポーネントが、特定のDynamoバージョンに対して正しく構成されているかを自動的に検証できます。
KV-cacheイベントの通信プロトコルの変更
Dynamo 1.4.2では、リクエストの転送にはTCPを使用し、KV-cacheイベントの伝達にはZMQを使用します。例えば、vLLMワーカーを使用する場合、以下のような設定でKV-cacheイベントをZMQパブリッシャー経由で放出するように構成する必要があります。
--enable-prefix-caching --kv-transfer-config \
{"enable_kv_cache_events": true, "publisher": "zmq", "endpoint": "tcp://*:5557"}
この構成により、DynamoのワーカーランタイムがローカルのvLLMイベントソースをサブスクライブし、正規化されたイベントをDynamoイベントプレーンへ再公開することで、ルーターが最新のキャッシュ状態に基づいた決定を行えるようになります。
対応モデル・ハードウェア
AICRのDynamo推論レシピは、特定のハードウェア環境に合わせてコンポーネントのバージョンを固定しています。例えば、Amazon EKS環境におけるNVIDIA GB200 NVL72およびNVIDIA GB300 NVL72システム向けのAICR v1.0.0レシピでは、以下のコンポーネントが検証済みとして選択されます。
- NVIDIA GPU Operator v26.7.1
- NVIDIA DRA GPU Driver 0.5.0
- KAI Scheduler v0.16.9
- Grove v0.1.0-alpha.13
- Dynamo Platform 1.4.2
また、DynamoはvLLM、SGLang、NVIDIA TensorRT LLMといった推論エンジンを、Kubernetes上のポッド内で動作させるためのオーケストレーションをサポートしています。
アップデート方法
AICRを用いたランタイムのデプロイには、以下の手順が推奨されています。まず、クラスターのスナップショットを作成し、次に推論レシピを生成します。
# クラスターのスナップショット作成
aicr snapshot --namespace aicr-validation --output snapshot.yaml
# Dynamo推論レシピの生成
aicr recipe --snapshot snapshot.yaml --intent inference --platform dynamo --output recipe.yaml
次に、レシピからデプロイメント用のバンドルをレンダリングします。ローカル環境でHelmfileを使用してデプロイする場合は、以下のコマンドを使用します。
# バンドルのレンダリング
aicr bundle --recipe recipe.yaml [その他のフラグ] --deployer helmfile --output bundle
# デプロイの実行
helmfile -f bundle/helmfile.yaml diff
helmfile -f bundle/helmfile.yaml apply
本資料には、GitOps(ArgoCDやFlux)を用いた本番環境向けのデプロイ方法についても記載されています。
関連記事
- NVIDIA Snapshot発表:vLLMやSGLangの起動を数秒に短縮
- TensorRT Edge-LLMとQwen3.6-27BでMLPerf Edge Agenticベンチマークを高速化
- NVIDIA PAIR仮想推論ルーター公開、ローカル計算資源を拡張
次に読むなら
- 記事に出てくるエンジンを調べる → vLLM
- 公開元について調べる → NVIDIA のモデル・ライセンス・記事のまとめ
- NVIDIA が公開したモデルの記事 → 「MetricTrail」カメラ軌跡と絶対深度を推定するSLAM研究用モデル:配布ファイル一覧 / NVIDIA、物理世界での異常検知とビデオ検索に特化した「InternVideo2-CLIP-anomaly-dete… / 「Cosmos3-H-Dreams」動画生成モデル:必要VRAM 48GB〜・配布ファイル一覧

