「Ling-3.0-tiny-UBTree」投機的デコーディング用ドラフトモデル:必要VRAM 4GB〜
inclusionAIが公開した軽量な投機的デコーディング向けドラフトモデル「inclusionAI/Ling-3.0-tiny-UBTree」のスペックやUBTree手法の特徴、SGLang対応予定について解説します。
手元で動くオープンウェイトモデルの新着・早見表・実測データ
inclusionAIが公開した軽量な投機的デコーディング向けドラフトモデル「inclusionAI/Ling-3.0-tiny-UBTree」のスペックやUBTree手法の特徴、SGLang対応予定について解説します。