高速推論フレームワーク sgl-project/sglang v0.5.22公開

高速推論フレームワーク sgl-project/sglang v0.5.22公開

基本情報

項目 内容
リポジトリ sgl-project/sglang
版 v0.5.22
公開日 2026-10-19
ライセンス Apache-2.0
出典の種類 公開元の一次情報(公式GitHubリポジトリのリリース情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

大規模言語モデルおよびマルチモーダルモデル向けの高速推論サービングフレームワークであるSGLangのバージョンv0.5.22が公開されました。SGLangはPythonを中心に開発されているApache-2.0ライセンスのオープンソースプロジェクトで、高速なKVキャッシュ管理や多様な並列処理バックエンドを強みとしています。

本バージョンにおける利用者への最大の影響は、DeepSeek-V4.1をはじめとする最新モデルにおける大幅な推論スループット向上と、モデル読み込み時間を最大10分の1に短縮する新ローダー「InstantTensor」の導入です。また、Pythonの対応バージョンが3.11以降へと引き上げられたため、環境によっては事前のランタイム更新が必要となります。

破壊的変更・非推奨

本リリースでは、並列化関連の起動オプションや環境変数名に関して非推奨化および名称変更が行われています。更新前に設定値の確認が必要です。

項目 旧設定 新設定 移行内容・既定値
Attention DPの指定 --enable-dp-attention --attn-dp-size <N> (別名 --attention-data-parallel-size) 従来は --dp-size と組み合わせてアテンションデータ並行グループ数を指定していましたが、専用オプションに分離されました。既定値は 1 です。
モデルレプリカ指定 --dp-size --dp-size (単独利用) モデルレプリカ数のみを指定する動作へ整理されました。--dp-size > 1 と --attn-dp-size > 1 の併用はエラーとなります。
SWAプリフィルロック解除 SGLANG_OPT_SWA_RELEASE_LEAF_LOCK_AFTER_WINDOW SGLANG_OPT_RELEASE_PREFILL_SWA 動作実態に合わせて環境変数名が変更されました。旧名称も非推奨エイリアスとして当面の間動作します。
必須Pythonバージョン Python 3.10以前 Python 3.11以降 SGLangの実行要件がPython 3.11以上に引き上げられました。

この変更は、Tensor Parallelism(TP)内でアテンションデータ並行処理を利用している環境や、従来の環境変数を起動スクリプトに組み込んでいる利用者に影響します。また、Python 3.10環境でSGLangを稼働させている場合は、アップデート前に実行環境のPythonバージョンを更新する必要があります。

主な変更点

InstantTensorローダーの導入によるモデルロードの高速化

重みのロード処理を大幅に刷新するInstantTensorローダーが新機能として導入され、モデルのロード速度が最大10倍高速化されました。大規模な重みファイルを持つLLMを頻繁に再起動して検証する開発者や、オンデマンドでインスタンスを立ち上げる運用環境において起動待ち時間を劇的に削減できます。利用にあたってモデルファイルの再変換や再ダウンロードは不要です。

Prefill/Decode分離(PD disaggregation)の強化

PrefillとDecodeのインスタンスを分離して運用するPD disaggregationアーキテクチャにおいて、長いプロンプトを扱うワークロードで最大27%のスループット向上を達成し、p95のTTFT(Time To First Token)を半減させました。長文コンテキストの処理を大規模にホスティングしているインフラ運用者に直接の恩恵があります。また、DeepSeek-V4.1におけるDSpark PD向け転送バックエンドとしてNIXLが受け入れられるなど、分散転送の効率化も進んでいます。

Apple Silicon Macでの標準PyTorchバックエンド対応

Apple Siliconを搭載したMac環境において、従来のMLXバックエンドに加えて標準のPyTorchバックエンドでの実行が可能になりました。ローカルのMac上でSGLangの推論パイプラインや機能を直接検証・開発したい技術者にとって、利用可能なバックエンドの選択肢が広がります。

最新モデル群に対する推論スループットの大幅な向上

NVIDIAおよびAMDの各種GPU環境において、多数のモデル向けにカーネル最適化やグラフ融合が実施されました。NVIDIA H200におけるDeepSeek-V4.1のGPUあたりのスループットが最大2.3倍に向上したほか、AMD MI350XおよびMI355X環境でもDSparkを用いて最大1.9倍のスループットを達成しています。さらに、NVIDIA B200環境でのQwen3.8-Flash-Nextのデコード速度が12%高速化し、B300環境ではMiMo-V2.6-ProがDFlashにより1.85倍のデコードスループットを記録しています。

長文コンテキスト向けHiSparseでの投機的デコーディング対応

KVキャッシュをCPUメモリにオフロードして長文コンテキストを処理するHiSparseにおいて、EAGLEおよびMTPによる投機的デコーディングがサポートされました。限られたGPUメモリ環境で長文脈サービングを行っている技術者は、メモリ消費を抑えながらデコード速度を向上させることができます。

投機的デコーディングと構造化出力の併用に関する重大な不具合修正

投機的デコーディングと構造化出力を同時に有効化してハイブリッド線形モデルを実行した際に、誤ったMamba状態から再開してしまう問題が修正されました。Wirick氏およびBaseten社によって報告されたもので、Mambaやハイブリッド構造を採用したモデルで文脈生成やJSON等の制約付き生成を行う際の出力破損を防ぎます。関連するモデルを利用している場合は早期のバージョンアップが推奨されます。

対応モデル・ハードウェア

本バージョンでは、テキストおよびマルチモーダルモデルだけでなく、画像・動画生成を担う拡散モデルまで幅広く対応モデルが拡充されました。また、最新のGPUアーキテクチャへの最適化やプラットフォームの拡張も進んでいます。

新規対応モデル(LLM / VLM)

言語モデルおよびビジョン言語モデル(VLM)として、新たに以下のモデルの推論サービングがサポートされました。

  • Clef / Clef Flash: Cloudflareによるモデルで、SGLang上でネイティブに推論可能です。
  • PPLX-Decider v1 / v1.1: Perplexityが公開したモデル群への対応が追加されました。
  • EmbeddingGemma 2: Googleのテキスト埋め込みモデルに対応し、高速な埋め込みベクトル抽出が行えます。
  • LLaDA2.2: Block Routing MoEアーキテクチャへの対応が含まれています。

新規対応モデル(Diffusion)およびComfyUI連携

SGLang Diffusionエンジンにおいて、生成AIの多様な画像・動画モデルが利用可能になりました。

  • 画像生成モデル: HunyuanImage-3.0-Instruct、Kandinsky 6 / Kandinsky 6 SR、LLaDA-Image / LLaDA-Image-Turbo
  • 動画生成モデル: Wan-Animate-2、SANA-Video 2.0

さらに、画像生成ツールのComfyUIとSGLang Diffusionの統合が進められ、MiniMax-H3やQwen-Image 2.1がComfyUI上で動作するようになりました。SGLang Diffusion経由でコミュニティ製のGGUFチェックポイントやLoRAを直接読み込んで実行できる機能も備わっています。

対応ハードウェアおよびアクセラレータ

ハードウェア面では、NVIDIAの次世代アーキテクチャやAMD製アクセラレータ、Apple Siliconへの対応が大幅に強化されています。

  • NVIDIA Blackwell(B200 / B300)およびHopper(H200): B200環境におけるQwen3.8-Flash-Nextの12%高速化や、B300環境におけるGLM-5.3-Flash(DFlash利用時で10%高速化)、MiMo-V2.6-Pro(DFlash利用時で1.85倍のスループット)など、SM100世代向けの各種カーネル(FA4、ptx_kda等)が最適化されています。公式DockerイメージではCUDA 13環境が提供されます。
  • AMD Instinct MI350X / MI355X / MI300シリーズ: ROCm 10環境をターゲットとしたコンテナが用意され、DeepSeek-V4.1がDSparkを活用して最大1.9倍のスループットで動作します。
  • Apple Silicon Mac: 従来のMLXバックエンドに加え、標準のPyTorchバックエンドによる推論実行が正式にサポートされました。
  • Intel GPU / CPU: Intel GPU向けのXPUイメージ、およびIntel Xeon CPU向けに最適化されたDockerコンテナがそれぞれ提供されています。

アップデート方法

SGLang v0.5.22を利用するにはPython 3.11以上が必要です。稼働環境のPythonバージョンを確認した上でアップデートを行ってください。

uv を利用してパッケージをインストールまたは更新する場合は、以下のコマンドを実行します。

uv pip install --prerelease=allow sglang==0.5.22

Dockerを利用する場合は、実行するハードウェア環境に応じて以下の公式イメージを取得してください。

  • NVIDIA GPU(CUDA 13環境):
docker pull lmsysorg/sglang:v0.5.22
  • AMD Instinct MI35xシリーズ(ROCm 10環境):
docker pull lmsysorg/sglang:v0.5.22-rocm10-mi35x
  • AMD Instinct MI30xシリーズ(ROCm 10環境):
docker pull lmsysorg/sglang:v0.5.22-rocm10-mi30x
  • Intel GPU(XPU):
docker pull lmsysorg/sglang:v0.5.22-xpu
  • Intel Xeon CPU:
docker pull lmsysorg/sglang:v0.5.22-xeon

開発環境としてリポジトリを編集可能モードでセットアップする場合は、開発用コンテナ lmsysorg/sglang:dev を起動後、リポジトリのルートディレクトリで以下のいずれかのコマンドを実行します。

pip install -e "python"

仮想環境が有効化されている場合は、以下のコマンドも利用できます。

uv pip install --prerelease=allow -e "python"

関連記事

次に読むなら

出典