NVIDIA Dynamo 1.4.2向けKubernetes検証済みランタイム構築手順

NVIDIA Dynamo 1.4.2向けKubernetes検証済みランタイム構築手順

基本情報

項目 内容
公開元のまとめ NVIDIA のモデルとライセンスのまとめ
公開元 NVIDIA Developer
公開日 2026-10-31
ライセンス NOASSERTION
出典の種類 公開元の一次情報(NVIDIA公式開発者ブログが一次情報源)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

NVIDIAは、分散推論フレームワークであるNVIDIA DynamoをKubernetes上で安定して動作させるためのツール、NVIDIA AI Cluster Runtime (AICR) を活用した検証済みランタイムの構築方法を公開しました。AICRは、GPUドライバーのスタック、Dynamic Resource Allocation (DRA)、gang scheduling、ノードのヘルス信号、Prometheusメトリクスなどの実行時要件を、コンポーネントのバージョンを固定した再現可能な「レシピ」としてパッケージ化するものです。

今回の発表における最も重要な変更点は、Dynamo 1.4.2において、リクエストプレーンにTCPを、KV-cacheイベントにZMQを使用する構成が標準となったことです。これにより、ネイティブなDynamo Frontendルーターと、Gateway API Inference Extension (GAIE) / Endpoint Picker Plugin (EPP) を利用するパスの両方で、キャッシュを考慮したルーティングが可能になっています。

破壊的変更・非推奨

Dynamo 1.4以降、フロントエンド、ワーカー、およびオプションのGAIE/EPPコンポーネントは、Kubernetesリソースを通じて互いに発見されるようになりました。これに伴い、AICRのデフォルトのパスではNATSを使用しなくなり、dynamo-platform チャートのデフォルト設定からもNATSのインストールが除外されています。

項目 旧設定/仕様 新設定/仕様
NATSの利用 デフォルトでインストール オプション(opt-in)でのみ利用可能
APIバージョン v1alpha1 v1beta1 (DynamoGraphDeployment CRD)

この変更は、Kubernetesネイティブな構成でDynamoを運用しようとしているプラットフォームチームに影響します。NATSが必要な特定のデプロイメントについては、明示的に有効にする必要があります。

主な変更点

2つのルーティングパスの提供

Kubernetes上でのDynamoの運用において、用途に応じた2つのルーティングパスが利用可能になりました。一つは「Dynamo Frontend router」を使用するパスで、これはモデル固有のエンドポイントを持つ最小限の構成に適しています。もう一つは「Gateway API / EPP」を使用するパスで、Gateway APIリソースを通じて管理される共有のKubernetes ingressと統合したい場合に適しています。どちらのパスも、ワーカーが公開するKV-cacheイベントを利用して、正確なキャッシュ認識ルーティングを実現します。

AICRによる検証済みレシピの導入

AICRを使用することで、インフラストラクチャの依存関係を管理する手間を軽減できます。AICRは、クラスターのスナップショット作成、Dynamo推論レシピの生成、デプロイメントバンドルのレンダリング、HelmfileやGitOpsによるデプロイ、そしてインストール後のランタイム検証という5つのステップを通じて、再現可能な環境構築を支援します。これにより、プラットフォームチームは、GPU OperatorやKAI Scheduler、Prometheusスタックなどの複雑なコンポーネントが、特定のDynamoバージョンに対して正しく構成されているかを自動的に検証できます。

KV-cacheイベントの通信プロトコルの変更

Dynamo 1.4.2では、リクエストの転送にはTCPを使用し、KV-cacheイベントの伝達にはZMQを使用します。例えば、vLLMワーカーを使用する場合、以下のような設定でKV-cacheイベントをZMQパブリッシャー経由で放出するように構成する必要があります。

--enable-prefix-caching --kv-transfer-config \
{"enable_kv_cache_events": true, "publisher": "zmq", "endpoint": "tcp://*:5557"}

この構成により、DynamoのワーカーランタイムがローカルのvLLMイベントソースをサブスクライブし、正規化されたイベントをDynamoイベントプレーンへ再公開することで、ルーターが最新のキャッシュ状態に基づいた決定を行えるようになります。

対応モデル・ハードウェア

AICRのDynamo推論レシピは、特定のハードウェア環境に合わせてコンポーネントのバージョンを固定しています。例えば、Amazon EKS環境におけるNVIDIA GB200 NVL72およびNVIDIA GB300 NVL72システム向けのAICR v1.0.0レシピでは、以下のコンポーネントが検証済みとして選択されます。

  • NVIDIA GPU Operator v26.7.1
  • NVIDIA DRA GPU Driver 0.5.0
  • KAI Scheduler v0.16.9
  • Grove v0.1.0-alpha.13
  • Dynamo Platform 1.4.2

また、DynamoはvLLM、SGLang、NVIDIA TensorRT LLMといった推論エンジンを、Kubernetes上のポッド内で動作させるためのオーケストレーションをサポートしています。

アップデート方法

AICRを用いたランタイムのデプロイには、以下の手順が推奨されています。まず、クラスターのスナップショットを作成し、次に推論レシピを生成します。

# クラスターのスナップショット作成
aicr snapshot --namespace aicr-validation --output snapshot.yaml

# Dynamo推論レシピの生成
aicr recipe --snapshot snapshot.yaml --intent inference --platform dynamo --output recipe.yaml

次に、レシピからデプロイメント用のバンドルをレンダリングします。ローカル環境でHelmfileを使用してデプロイする場合は、以下のコマンドを使用します。

# バンドルのレンダリング
aicr bundle --recipe recipe.yaml [その他のフラグ] --deployer helmfile --output bundle

# デプロイの実行
helmfile -f bundle/helmfile.yaml diff
helmfile -f bundle/helmfile.yaml apply

本資料には、GitOps(ArgoCDやFlux)を用いた本番環境向けのデプロイ方法についても記載されています。

関連記事

次に読むなら

出典