ggml-org/spec-for-testing-GGUF: llama.cpp向け予測的デコードテスト用GGUFモ…

ggml-org/spec-for-testing-GGUF: llama.cpp向け予測的デコードテスト用GGUFモ…

基本情報

項目 内容
リポジトリ ggml-org/spec-for-testing-GGUF
公開日 2026-10-30
ライセンス other
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリで裏付け確認済み)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-orgは、llama.cppの予測的デコード(speculative-decoding)統合テスト用のターゲットおよびドラフトGGUFモデルをまとめたリポジトリ「ggml-org/spec-for-testing-GGUF」を公開しました。本リポジトリには、MTPやDFlash、DSpark、EAGLE-3、DFlash2、LiLiCorrといった様々な予測的デコード手法に対応するGGUFモデルが含まれています。

主張と根拠

本リポジトリの元モデルとなっている「Qwen/Qwen3.5-4B」について、発表者の測定では様々なベンチマークで以下のような結果が示されています。

  • 一般知識・推論ベンチマークのMMLU-Proでは79.1を記録しています。
  • 広い分野の専門知識を問うSuperGPQAでは52.9を記録しています。
  • 科学の難問であるGPQA Diamondでは76.2を記録しています。
  • 指示追従能力を測るIFEvalでは89.8を記録しています。
  • コーディング能力を測るLiveCodeBench v6では55.8を記録しています。
  • エージェントのツール利用を測るτ-benchでは79.9を記録しています。
  • 画像理解の専門知識を測るMMMUでは77.6を記録しています。
  • 画像理解における数学問題のMathvista(mini)では85.1を記録しています。

前提条件

本リポジトリおよびテスト用モデルの前提条件や対応状況は以下の通りです。

  • 対象リポジトリ: ggml-org/spec-for-testing-GGUF
  • 用途: llama.cpp の予測的デコード(speculative-decoding)統合テスト用ターゲットおよびドラフトGGUFモデルの提供
  • 対応する手法: MTP、DFlash、DSpark、EAGLE-3、DFlash2、LiLiCorr
  • ソースモデル:
  • Qwen/Qwen3.5-4B – Qwen/Qwen3-4B – z-lab/Qwen3-4B-DFlash-b16 – deepseek-ai/dspark_qwen3_4b_block7 – AngelSlim/Qwen3-4B_eagle3 – Qwen/Qwen3.8-27B – incoai/Qwen3.8-27B-DFlash2 – nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF – nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF
  • 元モデル(Qwen3.5-4B)の基本仕様: パラメータ数は4Bです。ネイティブのコンテキスト長は262,144トークンで、YaRNを用いることで最大1,010,000トークンまで拡張可能です。互換性のあるフレームワークとして Hugging Face Transformers、vLLM、SGLang、KTransformers が挙げられています。

手元で再現できる範囲

読者は Hugging Face から直接GGUFファイルをダウンロードし、手元の環境で利用できます。

  • モデルファイルの取得: ggml-org/spec-for-testing-GGUF リポジトリから、予測的デコード検証用のターゲットGGUFおよびドラフトGGUFを取得できます。
  • サービング環境での実行手順: 元モデルである Qwen/Qwen3.5-4B では、予測的デコードや各種機能を有効にしてサーバーを立ち上げるコマンド例が公開されています。

SGLang で MTP(Multi-Token Prediction)を有効にしてサーバーを起動するコマンド例は以下の通りです。

python -m sglang.launch_server --model-path Qwen/Qwen3.5-4B --port 8000 --tp-size 1 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4

vLLM で MTP を有効にして起動するコマンド例は以下の通りです。

vllm serve Qwen/Qwen3.5-4B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 --reasoning-parser qwen3 --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'

Hugging Face Transformers でサーバーを起動するコマンド例は以下の通りです。

transformers serve --force-model Qwen/Qwen3.5-4B --port 8000 --continuous-batching

資料が触れていないこと

  • 各予測的デコード手法(MTP、DFlash、DSpark、EAGLE-3、DFlash2、LiLiCorr)を適用した際の具体的な推論速度向上(トークン/秒)やメモリ消費量の変化に関する比較データは資料に含まれていません。
  • llama.cpp 上でこれらのテスト用GGUFモデルを組み込んでテストを実行するための具体的なコマンドライン手順は、モデルカード内に直接記載されていません。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 4.7B(元モデル Qwen/Qwen3.5-4B の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q4_K_M 0.5GB 0.6GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典