「Qwen3.8-27B-DSpine-b16」投機的デコーディング用ドラフトモデル:必要VRAM 8GB〜

「Qwen3.8-27B-DSpine-b16」投機的デコーディング用ドラフトモデル:必要VRAM 8GB〜

基本情報

項目 内容
リポジトリ tencent/Qwen3.8-27B-DSpine-b16
まとめページ Qwen3.8 のまとめ(記事10本)
公開元のまとめ Tencent のモデルとライセンスのまとめ
公開日 2026-11-07
ライセンス apache-2.0
配布形式 safetensors
論文 arXiv:2609.36173, arXiv:2607.05147
出典の種類 未確認(一次情報で裏付けできていない)(一次情報が公式リポジトリか不明、tencentアカウントの信頼性不詳)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

本情報は公式な発表として確認が取れておらず、Hugging Face上で公開されたリポジトリに基づく未確認の情報です。

Tencentにより、大規模モデル「Qwen3.8-27B」向けの投機的デコーディング用ドラフトモデル「tencent/Qwen3.8-27B-DSpine-b16」が公開されたと報告されています。本モデルは、論文「Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding」(arXiv:2609.36173)で提案された手法「DSpine」を採用したチェックポイントとされています。候補トークンを並列に生成しながら、各層で予測された先行特徴量を隣接位置へ渡すことでネットワークの深さ方向に因果関係を反映させ、投機的デコーディングにおける採択長とスループットの向上を狙っています。

スペック

  • アーキテクチャ: DFlashDraftModel
  • 層数: 5層
  • ブロックサイズ: 16
  • スライディングウィンドウ: 8,192トークン
  • ベースモデル: Qwen/Qwen3.8-27B

性能

公開元が公表したモデルカードの測定結果によれば、推論エンジンにSGLang(バージョン0.5.22、BF16、FlashAttention 3、並列数8)を用い、既存手法であるDFlash2(ブロックサイズ8)や通常の自己回帰生成(AR)との比較検証が行われています。

一般ベンチマークにおける平均採択長(Acceptance Length)の比較は以下の通りです。

→ 横にスクロールできます

Task Greedy DFlash2 Greedy DSpine Sampled DFlash2 Sampled DSpine
GSM8K 5.69 7.20 5.45 6.31
MATH-500 5.49 6.49 5.27 5.66
HumanEval 4.87 5.71 4.34 4.71
MBPP 5.04 6.14 4.79 5.41
MT-Bench 4.11 4.48 3.89 4.03

また、エージェントタスクにおける採択長は以下のように報告されています。

→ 横にスクロールできます

Benchmark low / DFlash2 low / DSpine xhigh / DFlash2 xhigh / DSpine
WorkBuddy Code 4.19 5.08 4.06 4.92
WorkBuddy Web 3.95 4.91 3.95 5.01
WorkBuddy Office 4.24 5.63 4.20 5.49
SWE-bench Pro 4.19 4.99 4.00 4.77
τ²-bench 4.70 5.53 4.29 4.95

さらに、エージェント環境におけるエンドツーエンドの出力スループット(tokens/s)および自己回帰生成に対する高速化倍率(×AR)の測定結果は以下の通りです。

→ 横にスクロールできます

Benchmark low / AR low / DFlash2 (×AR) low / DSpine (×AR) xhigh / AR xhigh / DFlash2 (×AR) xhigh / DSpine (×AR)
WorkBuddy Code 253.35 590.27 (2.33×) 686.23 (2.71×) 193.00 550.40 (2.85×) 613.55 (3.18×)
WorkBuddy Web 247.40 639.74 (2.59×) 773.19 (3.13×) 252.26 734.04 (2.91×) 840.14 (3.33×)
WorkBuddy Office 210.03 664.77 (3.17×) 805.53 (3.84×) 215.05 662.34 (3.08×) 763.83 (3.55×)
SWE-bench Pro 241.86 657.71 (2.72×) 713.41 (2.95×) 248.17 711.60 (2.87×) 791.30 (3.19×)
τ²-bench 301.39 891.37 (2.96×) 964.30 (3.20×) 340.39 871.98 (2.56×) 978.39 (2.87×)

これらの測定結果から、DSpineは比較対象となったDFlash2に対して、評価されたすべてのタスクおよびサンプリング設定において一貫して高い採択長を記録していることが分かります。特に算術推論タスクのGSM8KにおけるGreedy設定では7.20トークン、WorkBuddy Officeのlow設定では5.63トークンに達し、先行手法と比べて大幅な採択長の伸長を示しています。一方でMT-Benchのような対話タスクでは採択長の伸びが比較的小さく、タスクの性質によって得られる加速効果に開きがあることも確認できます。スループット面でも通常の自己回帰生成と比べて最大3.84倍(WorkBuddy Officeのlow設定)に達し、DFlash2を上回る生成効率の向上が示されています。

なお、本モデルはドラフト生成のみを担うモデルであり、出力されるテキストの正確性や推論能力そのものはベースモデルであるQwen3.8-27Bに依存します。参考として、元モデルであるQwen3.8-27Bの公開元測定では、Terminal Bench 2.1で73.0、SWE-bench Proで61.7、GPQA Diamondで89.2などの性能が報告されています。

得意なこと・想定用途

本モデルは、ベースモデルである「Qwen3.8-27B」と組み合わせて動作させる投機的デコーディング(Speculative Decoding)専用のドラフトモデルです。単体でテキストを完結して生成するものではなく、ターゲットモデル側のトークン生成処理を加速させることを主な用途としています。

モデルカードの記述や検証結果によれば、以下のような用途や環境での活用が想定されています。

  • エージェント環境やツール呼び出しタスクの高速化: 長いコンテキストやツール実行結果のフィードバックが多発するエージェントタスクにおいて、高いスループットの向上が期待できます。公開元の検証では、WorkBuddyやSWE-bench Proなどの環境下で自己回帰生成と比べて約2.7〜3.8倍の高速化が報告されています。
  • 数学的推論やコーディングの推論効率向上: GSM8KやHumanEvalといった推論ステップの長いタスクにおいて、従来のドラフト手法(DFlash2)よりも長い採択長を達成しているとされています。これにより、試行回数やトークン生成量の多いプログラミング支援や論理推論処理の待機時間を短縮する効果が見込めます。
  • SGLangを用いた高スループット推論サービング: 本モデルはSGLang上での動作に最適化されており、バッチ処理や並列リクエストを処理するAPIサーバー環境において、生成レイテンシを抑えつつ全体の処理能力を高める構成に適しています。

なお、トークナイザや埋め込み層、最終的なLMヘッドはターゲットモデルであるQwen3.8-27B側のものが利用されます。そのため、出力される言語能力や知識、対応言語などの特性は基本的にベースモデルの仕様に準拠します。

類似モデルとの違い

同じくQwen3.8-27Bをベースとした派生モデルとして、過去にいくつかのプロジェクトが公開されています。

当サイトで以前紹介した「clef」構造化意思決定モデル:必要VRAM 12GB〜・GGUF版ありは、テキストや画像、動画などの状態と定義された質問スキーマを入力とし、1回のフォワードパスで直接意思決定を出力する特化型モデルです。一方、今回のDSpineはモデルの生成パラダイムを変更するものではなく、Qwen3.8-27Bの通常の生成プロセスを投機的デコーディングによって外部から加速させるドラフトモデルという点で大きく異なります。

また、「OrcaSAQ-2-27B」テキスト生成モデル:当サイトでの回答例・必要VRAM 16GB〜は、ベースモデルそのものを独自の感度考慮型混合精度量子化によって低ビットへ圧縮し、動作に必要なメモリの削減を狙った派生版です。これに対してDSpineは、モデルの圧縮による省リソース化ではなく、ターゲットモデルと併行して推論を走らせることで出力スループットを引き上げる速度重視のアプローチを採っています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 2.0B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB BF16 3.8GB 4.5GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
openbmb/MiniCPM-V-4.7-35B-A3B-DSpark-gguf 389M 4GB apache-2.0 「MiniCPM-V-4.7-35B-A3B-DSpark-gguf」高速化用ドラフトモデル:必要VRAM 4GB〜(2026-11-17)
openbmb/MiniCPM-V-4.7-1B-DSpark-gguf 214M 4GB apache-2.0 「MiniCPM-V-4.7-1B-DSpark-gguf」テキスト生成モデル:必要VRAM 4GB〜(2026-11-17)
IFM/Jais-3-0.9B-GGUF 1.1B 4GB apache-2.0 「Jais-3-0.9B-GGUF」バイリンガル対応のDenseモデル:必要VRAM 4GB〜(2026-11-17)
nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 4.0B 4GB openmdw-1.1 NVIDIA、ループ型LLM「Dory1.0-4B」を公開。最大256K対応(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-DSpark 328M 4GB lfm1.0 「LFM2.5-24B-A2B-DSpark」推測デコード用のドラフトモデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)

入手方法

本モデルのウェイトはHugging Face上で配布されており、ライセンスはApache-2.0が適用されています。アクセス制限(Gated)は設定されていないため、利用規約への個別同意なしに直接ダウンロードが可能です。

配布形式はsafetensors形式で提供されています。推論エンジンとしてはSGLangが想定されており、公式リポジトリからのパッケージ導入および専用オプションを指定した起動が案内されています。

ツールのインストールは以下のコマンドで実行できます。

git clone https://github.com/Tencent/DSpine.git
cd DSpine
pip install -e.

SGLangを利用してターゲットモデル(Qwen/Qwen3.8-27B)と連携させ、推論サーバーを起動するコマンド例は以下の通りです。

sglang serve \
  --model-path Qwen/Qwen3.8-27B \
  --speculative-algorithm DSPINE \
  --speculative-draft-model-path /path/to/Qwen3.8-27B-DSpine-b16 \
  --speculative-num-draft-tokens 16 \
  --dtype bfloat16 \
  --attention-backend fa3 \
  --speculative-draft-attention-backend fa3 \
  --linear-attn-backend triton \
  --enable-linear-replayssm-spec \
  --mamba-ssm-dtype float32 \
  --mamba-radix-cache-strategy extra_buffer \
  --max-mamba-cache-size 64 \
  --mem-fraction-static 0.80 \
  --context-length 131072 \
  --max-running-requests 8 \
  --cuda-graph-max-bs-decode 8 \
  --min-free-slots-delay 1 \
  --sampling-backend flashinfer \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --trust-remote-code

ランタイムの設定や動的検証のチューニング方法など、詳しい実行手順については公開元のリポジトリおよび案内文書を参照してください。

関連記事

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。