NVIDIA Dynamo、マルチモーダルモデル向けEPD分散サービングの活用法を公開
概要
NVIDIA Developerは2026年9月9日、マルチモーダルモデルのサービングを加速するための「Encode-Prefill-Decode (EPD) disaggregation」の活用法に関するブログ記事を公開した。NVIDIA Dynamoフレームワークを用いて、ビジョンエンコーダの処理をLLMのプリフィルおよびデコード段階から分離することで、画像負荷の高いプロンプトなどで最大5倍のTTFT(Time to First Token)短縮と最大7倍のエンドツーエンド応答時間の短縮を実現するとしている。
発表の内容
マルチモーダルモデルの推論では、LLMのプリフィルが始まる前にメディアの前処理とVision Transformer (ViT)の実行による埋め込み生成が必要となる。従来の集約型サービングではこれらが単一のワーカーとスケジューリングドメインを共有するため、メディア量が増えると処理が遅延する問題があった。NVIDIA Dynamoは、Encode-Prefill-Decode (EPD) disaggregationを実装し、エンコーダとPD(Prefill-Decode)ワーカーの役割を分離する。
資料では、エンコーダの配置に関して以下の3つのトポロジが示されている。
– Aggregated: 各GPUが単一の集約ワーカーを実行し、スケジューラがエンコード、プリフィル、デコードを同じリクエストライフサイクル内で管理する。
– Colocated encoder: 各GPU上で1つ以上のエンコーダワーカーをPDワーカーと同居させ、別々のリクエストキューとバッチ処理を維持しながらGPUコンピューティングを共有する。同質クラスのクラスターに適しているとされる。
– Disaggregated encoder: プライマリGPU階層がPDワーカーをホストしつつ、エンコード作業に適した低コストのGPU階層でエンコーダワーカーを実行する。NVIDIA Inference Transfer Library (NIXL)を介してビジョン埋め込みをPD階層へ転送する。
また、EPDは画像が多いプロンプト、短〜中程度の出力、量子化されたMixture-of-Experts (MoE)モデルで最も効果を発揮する。画像中心のプロンプトなどにおいて、集約型サービングと比較して最大5倍のTTFT短縮と7倍のエンドツーエンド応答時間の短縮を達成する一方、デコードがレイテンシの大半を占める場合や、大規模な高密度モデルによってビジョンエンコーダの計算割合が低下する場合には効果が縮小するとされている。
混雑したテキストおよびマルチモーダル トラフィック環境では、ヘッドオブラインブロッキングを排除することで、テキストリクエストの平均TTFTを42.2%削減し、画像リクエストの平均TTFTを30.8%削減する。さらに、LLMウェイトをNVFP4に量子化しつつビジョンエンコーダをBF16に維持した場合、同居型EPDのスループット(goodput)は集約型サービングの1.78倍から2.64倍に向上する。
ローカルLLMの利用者への影響
オープンウェイトモデルのローカル実行や分散環境でのサービングを行う技術者にとって、NVIDIA Dynamoを用いた推論最適化の選択肢が広がる内容となっている。NVIDIA Dynamoはオープンソースの推論フレームワークとして提供されており、ai-dynamo/dynamoのGitHubガイドを通じて実験の再現が可能であると案内されている。
資料では、エンコーダワーカーとPDワーカーの分離やNVIDIA Inference Transfer Library (NIXL)の活用、並列メディアデコードの有効化、埋め込みキャッシュ、マルチモーダルKVルーティングといった具体的な実装アプローチが示されており、ハードウェア構成やトラフィックの特性に応じた最適なトポロジ選択の指針が提供されている。既存モデルのライセンス形態や今後のオープンウェイトでの公開方針についての直接的な言及は資料に含まれていない。