NVIDIA Snapshot発表:vLLMやSGLangの起動を数秒に短縮
NVIDIA Snapshotの機能と使い方を解説。Kubernetes上でvLLM、SGLang、TensorRT LLMのGPUワークロードを数秒で起動する方法を紹介します。
NVIDIA Dynamo 1.4.2向けKubernetes検証済みランタイム構築手順
NVIDIA Dynamo 1.4.2をKubernetes上で安定稼働させるためのAICRを活用した検証済みランタイムの構築方法を解説。NATS廃止やZMQによるKV-cache通信の変更点も紹介。