vLLM v0.34.0公開:Extensible KV cache既定化と破壊的変更まとめ

vLLM v0.34.0公開:Extensible KV cache既定化と破壊的変更まとめ

基本情報

項目 内容
リポジトリ vllm-project/vllm
版 v0.34.0
公開日 2026-11-17
ライセンス Apache-2.0
出典の種類 公開元の一次情報(公式リポジトリのリリースノート)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

vLLM v0.34.0 が公開されました。vLLM は、LLM 向けの高スループット・省メモリな推論・サービングエンジンです(主要言語は Python、ライセンスは Apache-2.0)。リリースノートによると、1,061 コミット・412 人のコントリビューターによる版です。

利用者への影響が最も大きいのは、Extensible KV cache が既定で有効になり、gpu_memory_utilization の既定値が 1.0 になった点です。ウォームアップ後に実際に空いているメモリから KV キャッシュのサイズを決めるため、多くのモデルでキャッシュが増え、スループットが上がるとされています。一方で、Model Runner V1 の削除や --block-size 既定値の変更もあります。起動オプションや環境変数を固定している環境は、更新前に下記を確認してください。

破壊的変更・非推奨

旧 新(対処) PR
VLLM_USE_V2_MODEL_RUNNER=0(Model Runner V1) V1 は削除。設定すると起動に失敗します。環境変数を外してください。V1 の logits processor は vllm.v1.worker.gpu.sample.logits_processor へ移植が必要です #63373
--block-size 既定 16 既定 64。従来動作は --block-size 16(ROCm の paged attention は引き続き 16) #63231
従来の KV キャッシュ見積もり Extensible KV cache が既定有効、gpu_memory_utilization 既定 1.0。従来のサイズ決定は --gpu-memory-utilization 0.9 または --no-enable-extensible-kv-cache #56492
ROCm 7.2 のイメージ(-rocm72) 配布終了。ROCm 10.0 の wheel・イメージを使用 #61939
huggingface_hub 旧版 huggingface_hub >= 2.0.0 が必須。tokenizers >= 0.23.3、timm >= 1.0.30 も必要 #64779
QuTLASS / fp_quant 削除。fp_quant のチェックポイントは読み込めません #65230
Marlin W4A8 と VLLM_MARLIN_INPUT_DTYPE 削除。--quantization humming と VLLM_HUMMING_INPUT_QUANT_CONFIG を使用 #65542
Keye-VL / Keye-VL-1.5 削除(読み込むとエラー) #64287

Model Runner V1 を明示的に指定していた方、独自の logits processor を使っている方、ROCm 7.2 イメージを使っている方、Marlin の W4A8 や fp_quant のチェックポイント、Keye-VL を動かしている方は影響を受けます。

Marlin 側は VLLM_HUMMING_INPUT_QUANT_CONFIG='{"dtype":"int8"}'(または float8e4m3)の形で指定します。PR によると、VLLM_MARLIN_INPUT_DTYPE を設定すると移行案内付きのエラーになります。W4A8-FP8 の compressed-tensors チェックポイントは SM89/SM12x で HummingLinearKernel が選ばれます。fp_quant は、PR によれば main で既に読み込めない状態でした。

主な変更点

Extensible KV cache の既定化

CUDA と ROCm で、CUDA graph のキャプチャとウォームアップの後に実際に空いているメモリから KV キャッシュを確保します。例として H200 上の MiniMax-M3 で 433k → 672k トークンになったと報告されています。トレードオフとして、H200 の一部モデルで並列度 128 のとき TPOT が 6〜18% 悪化する場合があります。レイテンシ重視なら上記のオプトアウトを使ってください。明示的な gpu_memory_utilization を指定している場合は、起動時に警告が出ます(#66704)。

Suffix decoding が Model Runner V2 で動作

method="suffix" は従来 Arctic Inference が必要で、CPU 動作かつ Model Runner V1 を強制し、async scheduling も無効でした。今回 GPU speculator として MRV2 上で動き、Arctic は不要です。PR では、受理率は Arctic と同等(1.937 対 1.923/1.948 トークン/ステップ)とされています。num_speculative_tokens の既定は 8 になりました(従来は suffix_decoding_max_tree_depth の 24)。そのほか、カスタム speculator 用の register_speculative_method プラグイン API が加わりました(#63205)。Draft KV cache は target と同じ dtype になり、FP8 の target なら draft も FP8 になります。

性能改善

リリースノート記載の値です。Step5 の NVFP4 MoE(4×GB200)でデコード最大 1.95 倍、GLM-5.3-Flash の DeepGEMM FP8 MegaMoE で出力スループット 1.6 倍、GLM-5.3 の長いプロンプトで TTFT が 1.24〜1.40 倍高速(GB200、32K〜128K)です。Qwen3.5 は breakable CUDA graphs により、デコード ITL が 3.0〜8.8% 下がります。Muse Spark Open や Kimi-K3 の専用デコードは opt-in です。

運用機能

  • Checkpoint/restore: CRIU と cuda-checkpoint を使い、/checkpoint/prepare、/checkpoint/status、/checkpoint/restore で操作します(#62570)。
  • DP+EP の scale-down: 死んだランクを外し、再起動なしで experts を再配置します。POST /v1/fault_tolerance/apply を使います。PR によると、外部 LB モード(--api-server-count=1 --data-parallel-size-local=1)が必須で、復旧はオーケストレーター主導です(#46370)。
  • NUMA binding: ベストエフォートで既定有効になりました。無効化は --no-numa-bind です。

注意点

Kimi K3.1 の下地は入りましたが、リリースノートによると この版では K3.1 は動かせません。

対応モデル・ハードウェア

新しく対応したモデル

リリースノートによると、新モデルは10件です。主なものは次のとおりです。

  • Mistral Large 4: 1T total / 52B active(FP8 と NVFP4)です。NVIDIA の Blackwell / Hopper と AMD MI350 で動かせます。レシピは https://recipes.vllm.ai/mistralai/Mistral-Large-4-1T-A52B に掲載されています(#64534)。
  • MiniMax-M3.1-Flash: Blackwell 向けの NVFP4 と ROCm 向けカーネル、DSpark draft に対応しました(#64111)。
  • NVIDIA Nemotron-3.5-Transcribe: 30B-A4B の音声モデルです。音声チャットと /v1/audio/transcriptions が使えます(#64282)。
  • Ricursive Ripple-65B Preview: BF16 と NVFP4 に対応し、ripple の reasoning parser と tool parser が付きます(#65745)。
  • Zyphra ZAYA1: ZAYA1-8B と ZAYA1-74B-preview に対応しました(#65302)。
  • Baidu Unlimited-OCR-2(#64016)、Liquid AI LFM3 / LFM3-VL / LFM3-Audio(#65826、#65827、#65828)、NVIDIA Canary-1B-v2(ASR と X↔En 翻訳、#64215)、Ming3-ASR(#63585)、NVIDIA Parakeet TDT(vllm-parakeet-plugin 経由、#65005)にも対応しました。

Kimi K3.1 は下地のみで、この版では動かせません(未対応)。

ハードウェア

  • ROCm: リリース用の wheel とイメージは ROCm 10.0 のみです。MI355X 向けには Kimi-K3 の専用デコード(opt-in)が入りました。--all2all-backend mori で MoRI EPv2 も使えます。RDNA3 / RDNA4 では TRITON_ATTN が既定の attention バックエンドになりました(#60418)。
  • Blackwell: GB200 / GB300 向けの最適化が多数入っています。
  • XPU: wheel とイメージが引き続き提供されています。

アップデート方法

README では uv が推奨されています。

uv pip install vllm
vllm download-kernels  # precompiled kernels for faster startup

リリースノートには、環境別のコマンドも載っています。

# CUDA 13.0 (PyPI)
pip install vllm

# ROCm 10.0
pip install vllm --extra-index-url https://wheels.vllm.ai/rocm/0.34.0/rocm100

Docker の場合は、CUDA 13.0 の既定イメージが vllm/vllm-openai:v0.34.0 です。ROCm は vllm/vllm-openai-rocm:v0.34.0 です。

更新前に、前半の「破壊的変更・非推奨」の表を確認してください。huggingface_hub >= 2.0.0 が必須になっています。リリースノートには、XPU の install 行が今も解決できるかを確認する TODO コメントが残っています。XPU 利用者は、うまくいかない場合にリリースページを参照してください。

関連記事

次に読むなら

出典