SGLang v0.5.23リリース: 推論高速化と新機能のまとめ

SGLang v0.5.23リリース: 推論高速化と新機能のまとめ

基本情報

項目 内容
リポジトリ sgl-project/sglang
版 v0.5.23
公開日 2026-11-03
ライセンス Apache-2.0
出典の種類 公開元の一次情報(公式GitHubリポジトリのリリースページが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

SGLangは、大規模言語モデル(LLM)およびマルチモーダルモデルのための高性能なサービングフレームワークです。最新バージョンであるv0.5.23がリリースされました。

今回のアップデートにおける最大の注目点は、推論パフォーマンスの劇的な向上です。特にDeepSeek-V4.1をGB300で動作させた場合、負荷時におけるprefillスループットが最大1.5倍に向上し、32Kから64Kのプロンプトにおける最初のトークン生成レイテンシが約28%削減されることが報告されています。

破壊的変更・非推奨

利用中の設定やコマンドに影響を与える変更がいくつか含まれています。

項目 旧 新
推論オプション --speculative-skip-dp-mlp-sync 削除(使用するとエラーになります)
Attentionバックエンド tokenspeed_mla cutedsl_mla (tokenspeed_mlaは非推奨のエイリアスとして残ります)

--speculative-skip-dp-mlp-sync オプションは削除されました。このフラグは、Attention DPを使用している際に、特定の構成でサーバーを停止させる原因となっていたためです。現在、DP attentionを使用している環境では、このフラグを指定せずに実行してください。

また、tokenspeed_mla バックエンドは削除されました。現在は cutedsl_mla がその役割を担います。既存のコードで tokenspeed_mla を指定している場合は、警告が表示された上で cutedsl_mla にマッピングされますが、明示的に新しいバックエンド名へ移行することが推奨されます。

主な変更点

推論パフォーマンスの大幅な改善

DeepSeek-V4.1などのMoE(Mixture-of-Experts)モデルにおいて、H200を使用した場合、8Kプロンプトでの最初のトークン生成(first token)が30%から58%早くなります。また、NVIDIAのmegakernelおよびAMDのmonokernelプラグインをオプションで利用する「low-latency mode」により、DeepSeek-V4.1-Flashのデコード速度が、GB300で最大44%、MI350Xで最大75%高速化されます。これらは、最新のGPUハードウェアを利用して低レイテンシな推論を行いたいユーザーに非常に大きな恩恵をもたらします。

Paged Expertsによるメモリ節約と高速化

オプション機能である「Paged Experts」により、GPUメモリ容量を超えるサイズのMoEモデルを、単一のコンシューマー向けGPU上で実行できるようになりました。この機能は、CPUオフロードと比較して最大30倍高速に動作します。限られたVRAMリソースで巨大なモデルを動かしたいユーザーにとって、非常に有効な選択肢となります。

マルチモーダル・拡散モデル(Diffusion)の最適化

Cosmos3やQwen-Image、MOVA、HunyuanVideoなどの画像・動画生成モデルにおいて、デノイジングループ内でのホスト同期(host sync)や、毎ステップのデータ転送を削減する最適化が行われました。これにより、GPUが計算を行っている間にホスト側が待機する時間が減り、生成プロセス全体の効率が向上しています。画像・動画生成モデルをSGLangで運用しているユーザーは、モデルごとの最適化の恩恵を受けることができます。

新しいハードウェア・プラットフォームへの対応

Google TPU7xへの対応が開始されました。これはPyTorchネイティブなプラグインである「SGLang-TorchTPU」を通じて実現されます。また、量子化されたMoEモデル(FP8およびNVFP4)に対してLoRAアダプターをサーブできる新しいオプションのLoRAエンジンも導入されました。新しいハードウェアや、量子化モデルへのLoRA適用を検討している技術者にとって重要なアップデートです。

対応モデル・ハードウェア

本バージョンでは、新しく複数のLLM、マルチモーダルモデル、および拡散モデル(Diffusion)のアーキテクチャや量子化手法に対応しています。

  • LLM / VLM: Muse Spark Open、Beam-1.0、MiniMax-M3.1-Flash、MiniCPM-V 4.7、Kev
  • Diffusion: Cosmos3-Nano-Sim (Bimanual, Transfer, Auto)、FastH3 Omni、FLUX.3 Image Klein、HY-Nomas、MOSS-Image
  • 量子化モデル関連: MiniMax-M3.1 NVFP4 MoEメソッドが追加され、量子化されたMoEモデル(FP8およびNVFP4)に対するLoRAアダプターのサーブが可能になりました。
  • ハードウェア: Google TPU7xへの対応が「SGLang-TorchTPU」を通じて追加され、NVIDIAやAMDに加え、Google TPU環境での実行がサポートされています。

これらのモデルのGGUF変換や推論、クックブックの利用が可能になり、対応ハードウェアの選択肢が広がっています。

アップデート方法

開発環境におけるインストールには、以下のコマンドを使用します。

uv pip install --prerelease=allow -e "python"

また、Dockerを使用して環境を構築する場合は、プラットフォームごとに用意された以下のイメージを利用できます。

  • NVIDIA (CUDA 13): docker pull lmsysorg/sglang:v0.5.23
  • AMD MI35x: docker pull lmsysorg/sglang:v0.5.23-rocm10-mi35x
  • AMD MI30x: docker pull lmsysorg/sglang:v0.5.23-rocm10-mi30x
  • Intel GPU: docker pull lmsysorg/sglang:v0.5.23-xpu
  • Intel CPU: docker pull lmsysorg/sglang:v0.5.23-xeon
  • Google TPU7x (TorchTPU): docker pull lmsysorg/sglang:v0.1.0-tpu

関連記事

次に読むなら

出典