高速推論フレームワーク sgl-project/sglang v0.5.22公開
高速推論サービングフレームワーク「sgl-project/sglang v0.5.22」が公開されました。モデル読み込みを最大10倍高速化するInstantTensorローダーの導入や最新モデル群のサポート、破壊的変更・アップデート方 ...
手元で動くオープンウェイトモデルの新着・早見表・実測データ
高速推論サービングフレームワーク「sgl-project/sglang v0.5.22」が公開されました。モデル読み込みを最大10倍高速化するInstantTensorローダーの導入や最新モデル群のサポート、破壊的変更・アップデート方 ...