新モデル

「Qwen3.8-27B-DSpine-b16」投機的デコーディング用ドラフトモデル:必要VRAM 8GB〜

Tencentが公開したQwen3.8-27B向けの投機的デコーディング用ドラフトモデル「tencent/Qwen3.8-27B-DSpine-b16」のスペックや推論の高速化効果、SGLangでの実行手順を解説します。

新モデル

「Ling-3.0-tiny-UBTree」投機的デコーディング用ドラフトモデル:必要VRAM 4GB〜

inclusionAIが公開した軽量な投機的デコーディング向けドラフトモデル「inclusionAI/Ling-3.0-tiny-UBTree」のスペックやUBTree手法の特徴、SGLang対応予定について解説します。