SGLang v0.5.19リリース：Qwen3.8や新規拡散モデルに対応

2026年9月6日2026年11月3日

基本情報

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

SGLangのバージョンv0.5.19がリリースされました。SGLangは、大規模言語モデルおよびマルチモーダルモデル向けの高速なサービングフレームワークであり、Pythonで実装されApache-2.0ライセンスで提供されています。今回のリリースでは、Qwen3.8などの新モデルへの対応や、ビームサーチ機能の追加、各種ハードウェア・アクセラレータ向けの最適化が行われています。

主な変更点

• ビームサーチ機能の追加: リクエストに beam_width を渡すことで、単一のサンプルではなく n 個の最適なシーケンスを取得できるようになりました。ただし、推測デコーディング、ディスアグリゲーション、DPアテンション、HiCacheとはまだ混在させることができません。
• DeepEP v2の導入: DeepSeek-V3/V4およびQwen3-MoE（FP8）向けに、DeepEPの新エンジンであるElasticBufferが --moe-a2a-backend deepep_v2 として利用可能になりました。
• LayerNormシーケンス並列処理: --enable-layernorm-sp を使用することで、各テンソル並列ランクがすべてのプリフィル・トークンではなく自身の割り当て分のみを正規化し、Qwen3-8BのH100でのプリフィルを3.5%、B200で5.6%削減します（現時点では密なQwen3モデル専用）。
• HopperでのW4A8 MoE: --flashinfer-mxfp4-moe-precision fp8 により、Hopper上でMXFP4エキスパートを提供しつつ活性化関数をFP8に量子化できます（FlashInfer 0.6.18が必要）。
• デフォルトのBlackwell MLAバックエンドでのDCP: デコードコンテキスト並列処理が trtllm_mla でも実行可能になり、128K入力などの長コンテキストで効果を発揮します。
• 高速な推測カーネルの導入: DSAプリフィル top-kがv2カーネルへ移行し、B200で1.3〜1.8倍高速化。KDAモデル向けのオプトイン型融合アクセプトパス（SGLANG_OPT_KDA_FUSED_ACCEPT_STATE=1）により、Kimi-LinearシェイプでのMTP検証・コミット時間が45%から63%削減されます。
• デフォルトでの統一ラディックスツリー: すべてのモデルのキャッシュとして統一ツリーがデフォルトで使用されるようになりました。
• AMD製GPUでのLean attention: MI300XおよびMI355Xにおいて、新しい永続的Leanカーネルにより最大1.52倍のスループット向上と最大3.62倍のインター・トークン・レイテンシの削減を実現（SGLANG_DISABLE_LEAN_ATTENTION=1 で無効化可能）。
• ROCmでのDSAモデル対応: ディスアグリゲーションされたGLM-5.2サービングで融合top-kシードリマップが使用可能になりました。

対応モデル・ハードウェア

• 新対応モデル: Qwen3.8 (2.4T-A95B)、Qwen3.8-27B、dots3.note、Ling-3.0-flash、Ling-3.0-tiny、Spark2.5、MiniCPM-SALA、Granite 4.2、および拡散モデルのLongCat-Image-EditとEdit-Turbo。
• ハードウェア関連の更新: Kimi-K3（Ascend A3）、Kimi-K2.7-Code-MXFP4（MI355X）、Qwen3.5 MXFP4（MI355X、FP8 KVキャッシュまたはHiCacheホストメモリ階層）、MiniMax-H3（24 GB GPUまたはDGX Spark）、Ling-3.0-flash（DGX Spark）、Qwen3.8-27B（RTX 5090、RTX PRO 6000、DGX Spark）などのデプロイガイドや最適化が追加・更新されています。

アップデート方法

SGLangの導入およびインストール手順については、公式ドキュメントを参照してください。

• Install SGLang

前回の記事からの更新履歴

当サイトがGitHubのリリース一覧から機械的にまとめた、この版と前回取り上げた版の間に出た版です(単独記事にはしていません)。 全ての版はエンジン別ページにあります。

次に読むなら

• このツールの更新を追う → SGLang の概要とリリース履歴(記録済み63版)
• 同じ分類(推論エンジン・ランタイム)の他のツール → llama.cpp / Ollama / vLLM

出典

• https://github.com/sgl-project/sglang/releases/tag/v0.5.19