vLLM v0.33.0リリース: CUDA 13専用化と新モデル・投機的デコード強化

vLLM v0.33.0リリース: CUDA 13専用化と新モデル・投機的デコード強化

基本情報

項目 内容
リポジトリ vllm-project/vllm
版 v0.33.0rc3
公開日 2026-11-02
ライセンス Apache-2.0
出典の種類 公開元の一次情報(vllm-project公式GitHubリポジトリのリリースノートが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

LLM向けの高速・高効率な推論・サービングエンジンであるvLLMの最新版「v0.33.0」が公開されました。vLLMはPythonで開発されているオープンソース(Apache-2.0ライセンス)の推論フレームワークです。

本バージョンではPyTorch 2.14.0への追従とCUDA 13.0専用化が進められたほか、推論を大幅に高速化する投機的デコーディング機能の強化や新手法の追加、多数の新規モデルへの対応が実施されています。公式のビルド配布物からCUDA 12.9向けバイナリが削除され、Medusaなどの一部の古い投機的手法が廃止されたため、既存環境の運用者はアップデート前に依存環境の確認が必要です。

破壊的変更・非推奨

今回の更新では、一部の実行環境の廃止や古い投機的デコーディング手法の削除が行われています。該当する設定を利用している環境では更新時にエラーが発生するため、移行作業を行ってください。

項目 旧仕様 新仕様・移行先
公式提供CUDAビルド CUDA 12.9 wheel / イメージ提供あり CUDA 12.9の提供を終了、CUDA 13.0専用に変更
投機的デコーディング方式 medusa, mlp_speculator 廃止(EAGLE, MTP, DFlash, DSparkなどへ移行)
Ray実行エンジン レガシーRay compiled-graph executor 削除(RayExecutorV2に一本化)
Mambaキャッシュ設定 --mamba-cache-mode 非推奨化(指定しても機能しません)
生成一時停止時の挙動 規定外 生成一時停止中に送られたリクエストはHTTP 503を返却
構造化出力バックエンド LM Format Enforcer 非推奨化(v0.34.0でオプトイン化、v0.35.0で削除予定)
中間表現優先度 --ir-op-priority 非推奨化(v0.34.0で削除予定)
NIXLコネクタ 旧バージョン対応 NIXL 1.5以降が必須

これらの変更は、CUDA 12.9のコンテナやwheelを直接指定してデプロイしている環境、投機的デコーディングでmedusaやmlp_speculatorを指定していた構成、あるいはRay環境で古い実行バックエンドを指定していた環境に影響します。

主な変更点

投機的デコーディングの刷新と新手法「XPress」「FLy」の導入

ブロック拡散型ドラフトモデル向けに、因果的なリファイン処理を行う「XPress」が追加されました。DFlashなどのブロック拡散型ドラフトモデルが抱えていた、直前のトークンを参照せずに独立して予測することで採択長が伸びにくくなる課題を解決するため、小さなボトルネック層と因果的ミキサーを用いてJacobi反復でブロックを補正します。固定形状の反復処理によりCUDA Graphとして捕捉可能で、低いオーバーヘッドで動作します。

さらに、損失を許容するオプトインの検証ポリシー「FLy」が実装されました。標準の検証では最初の不一致トークンで打ち切られますが、FLyではターゲットモデルのエントロピーが高い場合に単一の不一致を許容し、後続のトークンが検証を通過すれば採択を継続します。ベンチマークではAMD MI355Xで1.055倍〜1.310倍、NVIDIA B300で1.041倍〜1.273倍のデコードスループット向上が確認されています。出力分布が完全には保持されないため、品質と速度のトレードオフを検討した上での利用が推奨されます。

また、DFlashおよびDSparkにおいてスケジューラ上のドラフトスロット予約が撤廃されました。DeepSeek-V4.1-FlashとDSparkをGB300で動かしたテストでは、同時実行シーケンス数の上限引き上げに伴い、出力スループットが1373 tok/sから3390 tok/sへと大幅に向上しています。あわせて、ドラフト用の共有lm_headを量子化するdraft_lm_head_quantization(NVFP4およびFP8対応)や、EAGLEやMTPのプレフィックスキャッシュヒット時に末尾ブロックを保持する先読みブロックハッシュ機能が導入されています。

NVIDIA・AMD環境におけるデコード性能の高速化

ハードウェア固有の最適化が多数取り込まれました。NVIDIA環境では、GB300向けにKimi-K3(TP8/TP16で1.5〜2倍)やDeepSeek-V4.1-Flash(バッチサイズ1でデコードステップが18.3%高速化)の低レイテンシデコードが追加されたほか、Hopperアーキテクチャ上でHummingを介してDeepSeek-V4/V4.1のMXFP4エキスパートをブロックFP8として実行するパス(4x H200でデコード性能が9〜21%向上)などが追加されています。

AMD ROCm環境では、デフォルトの配布物がROCm 10.0(従来のROCm 7.2も提供)へと移行しました。MI300X/MI325X/MI355XにおけるDeepSeek-V4.1-FlashやMiniMax-M3向けの--monokernelデコード、RX 7900 XTXでFP16比4.6倍のKVトークンを扱えるROCM_OCTAVE(3〜4bit KVキャッシュ)、およびgfx1250向けの最適化が有効化されています。

API機能の拡張と安定性の強化

APIおよびサービング面では、OpenAI互換の/v1/decisionsエンドポイントが追加され、対応する生成モデルでデフォルト有効になりました。また、/v1/embeddingsでのトークン埋め込み出力とレイトチャンキングのサポート、/inference/v1/generateにおけるoutput_mode="derender"のサポートが追加されています。

運用時の安定性向上として、テンソル並列(TP > 1)起動時のローカルワーカー並列立ち上げ(TP8で約50秒短縮)や、スタックしたエンジンやワーカーのスタックトレースを出力するウォッチドッグ機能が導入されました。さらに、Rustフロントエンドの機能パリティが進められ、長文会話時のHTTP 500エラー解消や未対応フラグの起動時エラー検知などが反映されています。

対応モデル・ハードウェア

v0.33.0では、多数の最新モデルアーキテクチャへの対応と、ハードウェア固有の最適化が幅広く実施されています。

新規対応モデル

新しく以下のモデルアーキテクチャや派生モデルの推論・サービングに対応しました。

  • Reflection Beam-1.0: 501B MoE(アクティブ23B)モデルであり、DFlash2ドラフトモデルやBlackwell向け融合カーネル、推論・ツールパーサーを伴ってサポートされました。
  • Yandex AliceAI-Foundation-80B-A3B: Kimi Delta Attentionハイブリッド構造と512エキスパートMoE、262Kコンテキストを備えるモデルに対応しました。
  • Recursive Flint: 40B MoE(アクティブ2.5B)モデルで、BF16およびNVFP4 GGUFチェックポイント、ならびにBlackwell向けスモールバッチデコードカーネルに対応しました。
  • Muse Spark Open: 推論パーサーおよびツールパーサーを含めてサポートされました。
  • Step-5 Preview: NVIDIA SM100アーキテクチャ上での動作およびLoRAに対応しました。
  • NVIDIA Alpamayo 2 Super / Nemotron-Labs Dory1.0-4B / Nemotron Parse 3.5: Nemotron Parse 3.5ではModel Runner V2(MRV2)上でのMTPプロポーザをサポートしています。
  • MiniCPM-OCR 1.0 / Domyn Edge / ColUltraVBERT: 文書OCRやビジュアル文書リトリーバーを含む各種モデルに対応しました。
  • その他のモデル: 埋め込みモデルのLFM2.5-Embedding-350M、Transformersバックエンド経由でのKolibri 1、およびDecision 3.0やCloudflare Clef-Flashに対応しています。

既存モデルの機能強化とマルチモーダル改善

既存の主要モデルに対しても大幅な機能拡張が行われています。

  • DeepSeek-V4 / V4.1: 1Mコンテキストにおいて1ステップあたり約850マイクロ秒を削減するデコードインデクサのブロック選択や、DeepGEMMレイアウトへの直接ロード、SM90環境向けのFlashMLAスパースプリフィルなどが追加されました。
  • GLM: GLM-5.3-FlashでFP8 KVキャッシュがデフォルト設定となり(ベンチマークでエンドツーエンドスループットが9.8%向上)、Blackwell向けmHC TileLangデコードカーネルが追加されました。
  • Qwen: Qwen3.8-Flash-Next向けにAmpere環境でのFP8 QSA KVキャッシュや、DGX Spark 1台に収めるためのNVFP4 PLE埋め込みに対応しました。
  • マルチモーダル: PaddleOCR-VLでバッチビジョンエンコーダ(スループットが34〜85%向上)やcompile_mm_encoderが追加されたほか、DeepSeek-VL2のViTに対する完全なCUDA Graph化、EXAONE-4.5の画像処理に関する不具合修正が行われています。

ハードウェアおよびアクセラレータ対応

各社アクセラレータやCPU向けにも、専用機能や最適化が追加されています。

  • NVIDIA GPU: Blackwell世代(SM100、B300、GB300)向けの最適化が多数投入されたほか、SM107向け低レイテンシBF16 GEMMや、SM80世代でのFlashInfer投機的デコードにおけるCUDA Graph実行などが整備されました。
  • AMD ROCm: 公式の既定環境がROCm 10.0に移行しました(ROCm 7.2も提供継続)。gfx1250アーキテクチャが有効化され、gpt-oss-120b、DeepSeek-R1、DeepSeek-V4-Flash、MiniMax-M3の動作に対応しています。また、CDNA4環境ではDeepSeek-V4のMXFP4インデクサKキャッシュがデフォルト有効になりました。
  • AWS EFAコンテナ: AWS EFAライブラリとMooncake転送エンジンを同梱した新しい公式Dockerイメージ(vllm/vllm-openai:v0.33.0-efa、x86_64およびaarch64)が提供され、EC2インスタンスでのKV転送やマルチノード推論が容易になりました。
  • Intel XPU: SYCL FlashAttentionやSYCL GDNプリフィルバックエンド、torch MXFP4リニアバックエンドに対応しました。
  • CPU: Zen系CPU(AVX512-FP16)向けにzentorch 2.14.0.1が導入されfloat16に対応したほか、MRV2のTriton事前ウォームアップにより初回リクエスト時のコンパイル待ち(11〜20秒)が解消されました。

アップデート方法

利用しているプラットフォームや導入方法に応じて、以下のコマンドを実行して最新版へ更新してください。

uvまたはpipによるインストール

推奨されているuvを使用する場合の手順は以下の通りです。CUDA 13.0環境向けのwheelがインストールされます。

uv pip install vllm --torch-backend=auto
vllm download-kernels

標準のpipを使用する場合は以下のコマンドを実行します。

pip install vllm
vllm download-kernels

起動時間を短縮するため、インストール後にvllm download-kernelsを実行して事前コンパイル済みカーネルを取得することが推奨されています。

AMD ROCm環境の場合

ROCm 10.0またはROCm 7.2の環境では、専用のリポジトリURLを指定してインストールします。

# ROCm 10.0の場合
pip install vllm --extra-index-url https://wheels.vllm.ai/rocm/0.33.0/rocm100

# ROCm 7.2の場合
pip install vllm --extra-index-url https://wheels.vllm.ai/rocm/0.33.0/rocm72

Dockerイメージの利用

コンテナ環境を利用する場合は、用途に応じた最新イメージを取得してください。本バージョンより短縮名(vllm/vllm)のエイリアスも利用可能です。

# CUDA 13.0環境(標準)
docker pull vllm/vllm-openai:v0.33.0
# または短縮名
docker pull vllm/vllm:v0.33.0

# AWS EFA環境
docker pull vllm/vllm-openai:v0.33.0-efa

# ROCm 10.0環境
docker pull vllm/vllm-openai-rocm:v0.33.0

# CPU環境
docker pull vllm/vllm-openai-cpu:v0.33.0

関連記事

次に読むなら

出典