ggml-org/spec-for-testing-GGUF: llama.cpp向け予測的デコードテスト用GGUFモ…

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | ggml-org/spec-for-testing-GGUF |
| 公開日 | 2026-10-30 |
| ライセンス | other |
| 配布形式 | GGUF |
| 出典の種類 | 公開元の一次情報(ggml-org公式リポジトリで裏付け確認済み) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
ggml-orgは、llama.cppの予測的デコード(speculative-decoding)統合テスト用のターゲットおよびドラフトGGUFモデルをまとめたリポジトリ「ggml-org/spec-for-testing-GGUF」を公開しました。本リポジトリには、MTPやDFlash、DSpark、EAGLE-3、DFlash2、LiLiCorrといった様々な予測的デコード手法に対応するGGUFモデルが含まれています。
主張と根拠
本リポジトリの元モデルとなっている「Qwen/Qwen3.5-4B」について、発表者の測定では様々なベンチマークで以下のような結果が示されています。
- 一般知識・推論ベンチマークのMMLU-Proでは79.1を記録しています。
- 広い分野の専門知識を問うSuperGPQAでは52.9を記録しています。
- 科学の難問であるGPQA Diamondでは76.2を記録しています。
- 指示追従能力を測るIFEvalでは89.8を記録しています。
- コーディング能力を測るLiveCodeBench v6では55.8を記録しています。
- エージェントのツール利用を測るτ-benchでは79.9を記録しています。
- 画像理解の専門知識を測るMMMUでは77.6を記録しています。
- 画像理解における数学問題のMathvista(mini)では85.1を記録しています。
前提条件
本リポジトリおよびテスト用モデルの前提条件や対応状況は以下の通りです。
- 対象リポジトリ:
ggml-org/spec-for-testing-GGUF - 用途: llama.cpp の予測的デコード(speculative-decoding)統合テスト用ターゲットおよびドラフトGGUFモデルの提供
- 対応する手法: MTP、DFlash、DSpark、EAGLE-3、DFlash2、LiLiCorr
- ソースモデル:
Qwen/Qwen3.5-4B–Qwen/Qwen3-4B–z-lab/Qwen3-4B-DFlash-b16–deepseek-ai/dspark_qwen3_4b_block7–AngelSlim/Qwen3-4B_eagle3–Qwen/Qwen3.8-27B–incoai/Qwen3.8-27B-DFlash2–nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF–nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF- 元モデル(Qwen3.5-4B)の基本仕様: パラメータ数は4Bです。ネイティブのコンテキスト長は262,144トークンで、YaRNを用いることで最大1,010,000トークンまで拡張可能です。互換性のあるフレームワークとして Hugging Face Transformers、vLLM、SGLang、KTransformers が挙げられています。
手元で再現できる範囲
読者は Hugging Face から直接GGUFファイルをダウンロードし、手元の環境で利用できます。
- モデルファイルの取得:
ggml-org/spec-for-testing-GGUFリポジトリから、予測的デコード検証用のターゲットGGUFおよびドラフトGGUFを取得できます。 - サービング環境での実行手順: 元モデルである
Qwen/Qwen3.5-4Bでは、予測的デコードや各種機能を有効にしてサーバーを立ち上げるコマンド例が公開されています。
SGLang で MTP(Multi-Token Prediction)を有効にしてサーバーを起動するコマンド例は以下の通りです。
python -m sglang.launch_server --model-path Qwen/Qwen3.5-4B --port 8000 --tp-size 1 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4
vLLM で MTP を有効にして起動するコマンド例は以下の通りです。
vllm serve Qwen/Qwen3.5-4B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 --reasoning-parser qwen3 --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'
Hugging Face Transformers でサーバーを起動するコマンド例は以下の通りです。
transformers serve --force-model Qwen/Qwen3.5-4B --port 8000 --continuous-batching
資料が触れていないこと
- 各予測的デコード手法(MTP、DFlash、DSpark、EAGLE-3、DFlash2、LiLiCorr)を適用した際の具体的な推論速度向上(トークン/秒)やメモリ消費量の変化に関する比較データは資料に含まれていません。
- llama.cpp 上でこれらのテスト用GGUFモデルを組み込んでテストを実行するための具体的なコマンドライン手順は、モデルカード内に直接記載されていません。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 4.7B(元モデル Qwen/Qwen3.5-4B の値)
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| 4GB(ノートPCの内蔵GPU・スマートフォンなど) | Q4_K_M | 0.5GB | 0.6GB |
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
関連記事
- 「Qwen3.5-4B-GGUF」画像と動画の入力に対応したマルチモーダル言語モデル:必要VRAM 4GB〜
- 「ZwZ2-4B-GGUF」複数領域の視覚推論を行う視覚言語モデル:必要VRAM 4GB〜
- 「UserRepGen-4B」ユーザー表現生成用の4B級言語モデル:必要VRAM 4GB〜・GGUF版あり
- 「Tev1-4B-experimental」構造化データの意思決定に特化した4Bモデル:必要VRAM 4GB〜
次に読むなら
- GPUのVRAMから探す(このモデルは4GBの階層から動きます) → 8GBのGPUで動くほかのモデル
- 記事に出てくるエンジンを調べる → ggml / llama.cpp
- 表に出てくる Q4_K_M の意味を知る → 量子化・モデル形式の用語集
- 記事に出てくる MMLU-Pro・SuperGPQA・GPQA Diamond の読み方を知る → ベンチマーク用語集

