エンジン・ツール

高速推論フレームワーク sgl-project/sglang v0.5.22公開

高速推論サービングフレームワーク「sgl-project/sglang v0.5.22」が公開されました。モデル読み込みを最大10倍高速化するInstantTensorローダーの導入や最新モデル群のサポート、破壊的変更・アップデート方 ...