vLLM v0.32.0公開:Python 3.10サポート終了とKVキャッシュの拡充

vLLM v0.32.0公開:Python 3.10サポート終了とKVキャッシュの拡充

基本情報

項目 内容
リポジトリ vllm-project/vllm
版 v0.32.0
公開日 2026-10-18
ライセンス Apache-2.0
出典の種類 公開元の一次情報(公式GitHubリポジトリのリリースページが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

vLLMの新バージョン「v0.32.0」が公開されました。vLLMは、大規模言語モデル(LLM)の高速な推論と効率的なメモリ管理を実現するオープンソースの推論・サービングエンジンです。

本バージョンでは、Python 3.10のサポート終了やCORSのデフォルト設定厳格化といった運用基盤に関わる破壊的変更が行われたほか、NVFP4や4-bit形式をはじめとする低精度KVキャッシュの対応環境が大幅に拡充されました。さらに、複数のセキュリティ脆弱性の修正や、起動速度・スループットを高める各種最適化が導入されています。

破壊的変更・非推奨

今回のリリースには、動作環境やAPIの挙動に影響を与える複数の破壊的変更が含まれています。

項目 変更前 (旧) 変更後 (新)
サポートPythonバージョン Python 3.10以降 Python 3.11〜3.14(3.10のサポート終了)
デフォルトのCORS設定 すべてのオリジンを許可(["*"]) デフォルトでは拒否(空リスト、--allowed-origins による明示が必要)
依存ライブラリの最小バージョン transformers>=5.10.4 transformers>=5.16.1、tokenizers>=0.23.2
max_tokens のメモリ確保挙動 コンテキスト長から事前に枠を予約 上限値(アッパーバウンド)として扱い事前予約を廃止
削除された機能・パス mamba_cache_mode="all"、cascade attention、torch.compileのSP/AsyncTPパス 完全削除
Responses APIのストリームイベント 以前の推論(reasoning)イベント名 新しいストリームイベント名に変更

これらの変更は、Python 3.10環境のまま実行しているユーザーや、ブラウザからWebフロントエンド経由で直接vLLMサーバーを叩いている運用環境に影響します。特にCORSの仕様変更により、ブラウザ連携を行っているシステムでは起動時に --allowed-origins を明示的に指定する必要があります。

主な変更点

重要なセキュリティ脆弱性の修正と防御策の追加

チャットテンプレートのレンダリングによるCPU・メモリ枯渇DoS脆弱性(GHSA-4hhp-h66f-j5j7)が修正され、静的AST検証の導入やタイムアウト(VLLM_CHAT_TEMPLATE_RENDER_TIMEOUT)の設定が可能になりました。また、トークナイザーの max_token_id のオフバイワンによりCUDAアサート失敗を引き起こす不具合(GHSA-q97c-p368-75c4)や、P2P ZMQソケット枯渇によるクラッシュ脆弱性(GHSA-frvg-qw88-hww9)への対策として接続上限数(VLLM_P2P_MAX_PEERS、既定値128)などが追加されています。さらに、信頼できない画像読み込みをラスター形式に制限する allowlist の適用、共有メモリキャッシュハンドルのHMAC署名検証、64階層を超えるネストされた構造化JSONスキーマの拒絶(HTTP 400返却)など、堅牢性が多角的に向上しました。

低精度KVキャッシュの対応拡大

メモリ効率を向上させる低精度KVキャッシュの利用範囲が広がりました。NVFP4 KVキャッシュがNVIDIA SM8x、SM90、SM12xに対応し、SM12xでのXQAデコードやSM100でのMiniMax-M3スパースアテンションでも利用可能となっています。また、SM100環境でのGLM-5.xではFP8 KVキャッシュが既定となりスループットが2.3〜5.5%向上するほか、ROCm環境向けにはFP8比で約2倍の密度を持つ4-bit形式「ultraquant_4bit」KVキャッシュが導入されました。

Model Runner V2 (MRV2) の機能拡張とROCmでの既定化

次世代ランナーであるModel Runner V2において、GPU n-gram投機デコーダの可変長ドラフト対応、Elastic EP、MLAモデル向けのパイプライン並列とコンテキスト並列の併用サポート、標準の torch.compile モードが追加されました。また、ROCm環境ではMRV2がすべてのモデルを対象にデフォルトのランナーとして設定されるようになりました。

起動高速化とサービング性能の向上

新コマンド vllm download-kernels によりFlashInferの事前コンパイル済みカーネルをインストールできるようになり、コールドスタート時間を短縮できます。また、再起動をまたいで autotune テーブルを保持する --preload-autotune、共有メモリを用いてマルチモーダルテンソルを1回のコピーでワーカーへ転送するテンソルアリーナ(--enable-shm-tensor-arena、既定で有効)、ローカルスナップショットからのトークナイザー読み込みが追加されました。さらに --api-server-count を2以上に設定した環境では、接続が最も負荷の低いAPIワーカーに割り振られるようになり、短いリクエストにおけるreq/sが43〜85%向上します。

対応モデル・ハードウェア

新規追加モデルとアーキテクチャの拡充

本バージョンでは、複数の新しいモデルアーキテクチャへの対応が行われました。
– EmbeddingGemma 2 (google/embeddinggemma-2): テキスト、画像、音声、動画に対応したオムニモーダル埋め込みモデルをサポートしました。--limit-mm-per-prompt を指定することで、プロンプト内で使用されていないモダリティのエンコーダーをスキップして効率的に実行できます。
– MiniCPM-V 4.7: 新たにサービングに対応しました。
– Nemotron 3.5 ASR: ストリーミング音声文字起こしモデルとしてサポートされました。
– 構造化意思決定モデル: 新設のエンドポイント /v1/systemone において、Cloudflare/clef-omni や LiquidAI/d1-3B、DiffusionGemma の実行に対応しました。
– その他: PLaMo 3 の推論パーサーおよびツールパーサーや、zerank-2 リランカースコアテンプレートに対応しました。

また、Transformersモデリングバックエンドにおいて動画入力がサポートされたほか、Glm、Arcee、CWM、Mellum、GPT-NeoX、Phi、Seed-OSS、Jais2 などのモデルが同バックエンド経由でサービング可能になりました。

既存モデルの推論最適化と新機能

主要な大規模モデルに対して、アーキテクチャ固有の最適化が多数導入されています。
– DeepSeek-V4およびV4.1: デコーダー側SWA(Sliding Window Attention)の有界リプレイや、CUDAグラフ内でのリプレイ層の最適化が行われました。データ並列(DP)間でのパックFP8 Engram交換やCPUオフロード時のEngram検索の高速化、DeepSeek-V4とMTP(Multi-Token Prediction)を融合したドラフティングが導入されました。さらに、V4.1およびKimi-K3ではエンコーダーのCUDAグラフパッキングにより平均TTFT(Time To First Token)が11%低減しています。
– GLM-5.3およびGLM-5.3-Flash: レイヤー間でスパースMLA(Multi-head Latent Attention)インデックス変換を再利用することで該当カーネルが3.5〜3.9倍高速化されたほか、fused multi-step draft decodeが追加されました。また、SM90での fp8_ds_mla のサポートや、MHA向けqlnormのスキップによるTTFTの4.4〜7.7%改善、100万コンテキストでのテンソル並列によるインデクサーprefillの分散(TTFT最大25%削減)が盛り込まれています。
– Qwenファミリー: Qwen3.8-Flash-Next (Qwen4Exp) においてQSAプロジェクションを単一のGEMMに統合し1.45〜1.68倍の高速化を達成しました。あわせて --enable-hc-sp によるシーケンス並列の対応や、SM100向けの低遅延デコードGEMMプラン(cuBLAS比で小規模M時に最大2.7倍)が提供されます。さらに、Qwen3-VL、Qwen3.5、Qwen3.8でのM-RoPEキャッシュサイズが4分の1に削減されました。
– Kimi-K3およびMiniMax-M3: Kimi-K3向けにSM100でのFlashInfer fused投機KDAや、1080p〜8K解像度で前処理速度が10〜20倍向上するfusedビジョンプロセッサが追加されました。MiniMax-M3では、FP8 KVキャッシュとE4M3クエリを組み合わせたMSA prefillが26〜37%高速化しています。
– マルチモーダル全般: Qwen3-VL、Qwen3.5、Qwen4Exp、GLM-V、GLM-OCR、Llama Nemotron VL、Kimi K2.5/K3向けにデバイス側入力正規化が導入され、エンコーダー入力をモダリティごとにソートすることでリクエスト処理能力が6.5〜8.2%向上しています。

ハードウェアプラットフォームの強化

NVIDIA GPUだけでなく、AMD ROCmやIntel XPU、CPU環境においても大幅な性能強化が行われています。
– NVIDIA: SM100においてネイティブ64ヘッドのFlashMLAスパースprefillに対応し、TTFTが1.16〜1.18倍改善しました。また、SM120向けのsplit-Kアテンションや、SM12x向けのOAI Triton MXFP4 MoEカーネルが追加されています。
– AMD ROCm: DeepSeek-V4向けに --moe-backend aiter_mega_moe を通じたAITER MegaMoEV2が導入され、共有エキスパート結合(3〜8%向上)にも対応しました。さらにMI355XでのDeepSeek-V4.1-Flash向けmono decode(VLLM_ROCM_MONO_DECODE=1)や、GLM-5.2でのGluonスパースMLA(最大16%向上)、RDNA向けの ROCM_SEGMENTED_ATTN、gfx11におけるW4A16チューニング(TTFT最大23%改善)が利用できます。
– Intel XPU: FLASH_ATTN_MLA におけるMLAサポートや、Intel Arc Pro B70向けのFP8 GEMM(2.0〜2.73倍高速化)およびfused MoE構成、fused SYCL LayerNormが導入されました。
– CPU: s390x環境向けのベクトル化サンプラー(最大58倍)やaarch64向けの因果conv1d最適化(約9%改善)、POWER10でのAWQ/GPTQサポートが追加されています。

量子化機能の拡張

量子化面では、線形層のオンライン再量子化(--quantization-config.linear fp8_per_channel)が可能になったほか、トークン単位のNVFP4 CuTe-DSL MoEや、CUTLASS W4A4フォールバックを備えたMXFP4 MoEオラクルが導入されました。また、SM120/SM121向けにModelOptのIQ2_XS、IQ2_XXS、Q8_0形式がサポートされています。

アップデート方法

vLLM v0.32.0へアップデートする際は、事前に実行環境のPythonバージョンが3.11〜3.14であることを確認してください。

パッケージの更新は、推奨されている uv を使用するか、通常の pip コマンドで実行します。インストール後に vllm download-kernels を実行することで、事前コンパイル済みカーネルが配置され、起動時間を短縮できます。

uv pip install vllm
vllm download-kernels

標準の pip を使用する場合は以下の通り実行します。

pip install vllm
vllm download-kernels

ROCm環境やIntel XPU環境向けには、それぞれ専用の追加インデックスURLを指定してインストールします。

# AMD ROCm環境の場合
pip install vllm --extra-index-url https://wheels.vllm.ai/rocm/0.32.0/rocm723

# Intel XPU環境の場合
uv pip install vllm --extra-index-url https://wheels.vllm.ai/0.32.0/xpu --extra-index-url https://download.pytorch.org/whl/xpu --index-strategy unsafe-best-match

Dockerコンテナを利用する場合は、公式Dockerイメージを取得して更新します。

# CUDA 13.0環境(既定)
docker pull vllm/vllm-openai:v0.32.0

# CUDA 12.9環境
docker pull vllm/vllm-openai:v0.32.0-cu129

# AMD ROCm環境
docker pull vllm/vllm-openai-rocm:v0.32.0

# CPU環境
docker pull vllm/vllm-openai-cpu:v0.32.0

# Intel XPU環境
docker pull vllm/vllm-openai-xpu:v0.32.0

関連記事

次に読むなら

出典