「Qwen3-8B-DSpine-b16」投機的デコード向け並列ドラフトモデル:必要VRAM 4GB〜

「Qwen3-8B-DSpine-b16」投機的デコード向け並列ドラフトモデル:必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ tencent/Qwen3-8B-DSpine-b16
公開元のまとめ Tencent のモデルとライセンスのまとめ
公開日 2026-10-16
ライセンス apache-2.0
配布形式 safetensors
論文 arXiv:2609.36173
出典の種類 公開元の一次情報(公式HuggingFaceリポジトリが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

tencentは、投機的デコード(Speculative Decoding)のための並列ドラフトモデル「DSpine」を公開しました。

従来の並列ドラフト手法では、各ポジションが独立してトークンを選択するため、継続内容に一貫性がなくなり、受理される接頭辞(accepted prefix)が短くなってしまうという課題がありました。DSpineは、バックボーンの各層において、ゲート付きの隣接注入(gated adjacent injection)を用いることで、各ポジションに直前のポジションの予測特徴量を書き込みます。これにより、全ポジションを並列に更新しながらも、ネットワークの深さに沿って因果的な条件付けの連鎖を展開することが可能になります。

論文の分析によれば、既存手法では浅い層ですでに復元可能な予測が形成されているものの、後続のトークンに正確な隣接情報が伝わっていないという課題がありました。DSpineは、ターゲットモデルの出力埋め込みから構築された統一的な転送空間を利用し、層ごとの注入と隣接予測に基づくデコードを統合することで、浅い層での予測特徴量の形成を促進しています。詳細については、論文 arXiv:2609.36173 を参照してください。

スペック

  • アーキテクチャ: DFlashDraftModel
  • モデルタイプ: qwen3
  • パラメータ数: 8B
  • コンテキスト長: 8192

性能

モデルカードに掲載されている、Qwen3-8BにおけるAcceptance lengthの比較結果は以下の通りです。なお、比較対象のモデルは、すべて同じOpen-PerfectBlendデータセットを用いて、同一の構成で再学習されたものです。

→ 横にスクロールできます

Temp. Method GSM8K MATH-500 HumanEval MBPP LCB MT-Bench Arena-Hard Avg.
T = 0 DFlash† 6.32 7.99 6.56 6.29 6.11 4.26 3.91 5.92
Domino† 9.68 9.40 7.23 6.89 6.40 5.12 4.65 7.05
DSpark 10.00 9.88 7.78 7.35 6.81 5.39 4.87 7.44
DFlash2 10.06 10.04 7.99 7.33 6.96 5.40 5.06 7.55
DSpine 10.55 10.30 8.27 7.66 7.25 5.63 5.13 7.83
T = 1 DFlash† 5.75 6.51 5.52 5.23 4.53 3.77 3.25 4.94
Domino† 8.01 7.13 5.89 5.56 4.59 4.36 3.61 5.59
DSpark 9.33 8.64 6.91 6.66 5.78 4.99 4.25 6.65
DFlash2 9.07 8.42 6.99 6.43 5.67 4.90 4.25 6.53
DSpine 9.83 8.99 7.39 6.97 6.11 5.09 4.49 6.98

モデルカードの測定結果によれば、DSpineはT=0およびT=1のどちらの温度設定においても、すべてのベンチマーク項目で最も高いAcceptance lengthを記録しています。数学の能力を測るGSM8KやMATH-500、コーディング能力を測るHumanEvalやMBPP、さらには対話品質の指標であるArena-Hardにおいても、比較対象のモデルを上回るスコアを示しています。特に、既存のDFlash2やDSparkといった手法と比較しても、一貫して高い数値を得ていることが分かります。また、論文の要旨によれば、SGLangを用いたサービングテストにおいて、DFlashと比較して平均で23.3%高いスループットを実現していると報告されています。

得意なこと・想定用途

DSpineは、投機的デコード(Speculative Decoding)の効率を向上させることを目的としたドラフトモデルです。そのため、ターゲットとなる大規模言語モデルの推論速度を高速化する用途に特化しています。

モデルカードのタグや論文の記述から、Qwen3シリーズのようなモデルの推論における「Acceptance length(受理される接頭辞の長さ)」を最大化することを得意としています。これにより、数学(GSM8K、MATH-500)やコーディング(HumanEval、MBPP)、対話タスク(Arena-Hard)といった幅広いタスクにおいて、推論の効率を維持しながら高い性能を引き出すことが期待できます。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 1.2B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) BF16 2.3GB 2.8GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

入手方法

  • 配布形式: safetensors
  • 入手コマンド:
git clone https://github.com/tencent/dspine.git
cd dspine
pip install -e.
  • 対応エンジン: SGLang

関連記事

次に読むなら

出典