「MiniCPM-V-4.7-35B-A3B-DSpark-gguf」高速化用ドラフトモデル:必要VRAM 4GB〜

「MiniCPM-V-4.7-35B-A3B-DSpark-gguf」高速化用ドラフトモデル:必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ openbmb/MiniCPM-V-4.7-35B-A3B-DSpark-gguf
まとめページ MiniCPM-V-4.7-DSpark のまとめ(記事2本)
公開元のまとめ OpenBMB のモデルとライセンスのまとめ
公開日 2026-10-15
ライセンス apache-2.0
配布形式 GGUF
論文 arXiv:2607.05147
出典の種類 公開元の一次情報(公式アカウントopenbmbのGGUF公開リポジトリ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

OpenBMBから、MiniCPM-V-4.7-35B-A3B-DSparkのGGUF(llama.cpp)量子化版が公開されました。これは単体で動かす生成モデルではなく、ビジョン対応言語モデルMiniCPM-V-4.7-35B-A3Bの推論を高速化するための「投機的デコーディング」用ドラフトモデルです。llama.cppやvLLMでMiniCPM-V-4.7-35B-A3Bを動かす際に、このDSparkを追加するだけで応答速度の向上が見込めます。

モデルカードが参照する論文「DSpark」の要旨によれば、DSparkは並列ドラフト生成の高スループットと、負荷状況に応じた適応的な検証を組み合わせた投機的デコーディング手法です。半自己回帰アーキテクチャでトークン間の依存関係を保ちつつドラフト品質の劣化を防ぎ、確信度に応じて検証の長さを動的に調整することでサービング効率を最適化する、と説明されています。

スペック

  • アーキテクチャ: Qwen3DSparkModel(qwen3系)
  • ドラフト用パラメータ数: 389,223,169(約3.9億)
  • ドラフト層数: 5層
  • 1フォワードパスあたりのドラフトトークン数: 15
  • ターゲットモデルの隠れ状態参照レイヤー: [3, 11, 19, 27, 35]
  • チェックポイント精度: BF16
  • ペア対象のターゲットモデル: MiniCPM-V-4.7-35B-A3B(本体はDense/MoEいずれかの記載なし)

性能

モデルカードには、ドメインごとの「Accept Length(受理長)」を示す表が掲載されています。これは「完了トークンの総数を投機的検証ステップの総数で割った値」と定義されており、max_new_tokens=8192・自然なEOS終端の条件で評価されています。数値が大きいほど、1回の検証でより多くのドラフトトークンが採用されていることを意味し、実際の速度向上幅に直結します。

Domain Accept Length
Vision
MMMU 5.098
MathVista 6.126
CharXiv_reasoning_val 5.479
OCRBench 5.407
Text
Math 6.687
Code 7.387
General 3.501

テキスト系ではCodeが7.387と全項目中で最も高く、コード生成のようなパターンが予測しやすいタスクほどドラフトの採用率が高い傾向がうかがえます。一方でGeneralは3.501と最も低く、自由度の高い一般的な応答生成では受理長が伸びにくいようです。ビジョン系では、画像中の図形・グラフを扱う数学問題を測るMathVistaが6.126と最も高く、大学レベルの画像理解を問うMMMUが5.098と相対的に低い結果です。画像中の文字認識を測るOCRBenchは5.407で、ビジョン系4項目の中では中位に位置しています。総じて、コードや数式のように構造が定まりやすい入力ほど高速化効果が大きく、自由形式の一般対話では効果がやや控えめになるという傾向が、この表から読み取れます。

得意なこと・想定用途

本モデルは、マルチモーダルモデルであるMiniCPM-V-4.7-35B-A3Bと組み合わせて推論を高速化するための投機的デコーディング専用ドラフトモデルです。単体で独立した対話や画像認識を行う生成モデルではなく、ターゲットモデルが生成するトークン列を先読みして提案する役割を担います。モデルカードによれば、ドラフトモデルの量子化は生成される最終出力の内容そのものには一切影響を与えず、受理長(1ステップあたりに採用されるトークン数)にのみ影響を与えるとされています。

ターゲットモデルおよび本ドラフトモデルのタグにはvision-understanding、tool-calling、conversational、en、zh、on-device、edge-aiなどが付与されています。このことから、英語や中国語でのテキスト生成、対話、ツール呼び出し、そして画像入力が伴うビジョンタスク全般の高速化が主な用途となります。

先述の受理長データが示すように、特にコード生成や数学的推論といった構造的な出力が求められるタスクにおいて高い受理長を達成しており、プログラミング支援や計算・論理思考タスクでの速度向上が大きく期待できます。また、画像理解タスクにおいても、グラフや幾何問題を解くMathVistaや文字認識を行うOCRBenchなどで安定した受理長が報告されているため、視覚的推論や書類画像の読み取りを含むワークフローの高速化にも適しています。エッジ環境やオンデバイスでの展開を視野に入れたモデル設計となっており、限られた計算資源下でレスポンス性能を高めたい環境に向いています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 389M(元モデル openbmb/MiniCPM-V-4.7-35B-A3B-DSpark の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) F16 0.7GB 0.9GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
openbmb/MiniCPM-V-4.7-1B-DSpark-gguf 214M 4GB apache-2.0 「MiniCPM-V-4.7-1B-DSpark-gguf」テキスト生成モデル:必要VRAM 4GB〜(2026-11-17)
IFM/Jais-3-0.9B-GGUF 1.1B 4GB apache-2.0 「Jais-3-0.9B-GGUF」バイリンガル対応のDenseモデル:必要VRAM 4GB〜(2026-11-17)
nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 4.0B 4GB openmdw-1.1 NVIDIA、ループ型LLM「Dory1.0-4B」を公開。最大256K対応(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-DSpark 328M 4GB lfm1.0 「LFM2.5-24B-A2B-DSpark」推測デコード用のドラフトモデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-DSpark-GGUF 328M 4GB lfm1.0 「LFM2.5-24B-A2B-DSpark-GGUF」投機的デコーディング用のドラフトモデル:必要VRAM 4GB〜(2026-11-17)

入手方法

本モデルはGGUF形式で配布されており、Hugging Faceのリポジトリから入手できます。ゲート付きモデルではないため、事前の利用申請や同意手続きなしで直接ダウンロードが可能です。対応する推論エンジンとしては、llama.cppおよびvLLMが挙げられています。

llama.cppで利用する場合は、ターゲットモデル本体のGGUFファイル、ビジョンプロジェクター(mmproj)、および本DSparkドラフトモデルのGGUFファイルをダウンロードします。モデルカードではhuggingface-cliを用いた以下のダウンロード例が案内されています。

huggingface-cli download openbmb/MiniCPM-V-4.7-35B-A3B-gguf MiniCPM-V-4_7-35B-A3B-Q4_K_M.gguf mmproj-model-f16.gguf --local-dir./35B-A3B-gguf
huggingface-cli download openbmb/MiniCPM-V-4.7-35B-A3B-DSpark-gguf dspark-MiniCPM-V-4_7-35B-A3B-Q8_0.gguf --local-dir./35B-A3B-gguf

利用にあたっては、dflashアーキテクチャおよびDSpark Markov headに対応したllama.cppのビルドが必要です。llama-cliを実行する際は、-mdオプションでドラフトモデルを指定し、--spec-type draft-dsparkを指定して投機的デコーディングを有効化します。CLIツールで画像とプロンプトを入力して実行するコマンド例は以下の通りです。

llama-cli \
  -m./35B-A3B-gguf/MiniCPM-V-4_7-35B-A3B-Q4_K_M.gguf \
  --mmproj./35B-A3B-gguf/mmproj-model-f16.gguf \
  -md./35B-A3B-gguf/dspark-MiniCPM-V-4_7-35B-A3B-Q8_0.gguf \
  --spec-type draft-dspark \
  --image image.jpg -p "Describe this image." \
  -ngl 99 -ngld 99 -fa on -c 8192

サーバーとして起動する場合は、llama-serverに対して--spec-draft-n-max 15などを付与して設定します。

llama-server \
  -m./35B-A3B-gguf/MiniCPM-V-4_7-35B-A3B-Q4_K_M.gguf \
  --mmproj./35B-A3B-gguf/mmproj-model-f16.gguf \
  -md./35B-A3B-gguf/dspark-MiniCPM-V-4_7-35B-A3B-Q8_0.gguf \
  --spec-type draft-dspark --spec-draft-n-max 15 \
  -ngl 99 -ngld 99 -fa on -c 8192 --jinja --port 8080

また、vLLMを用いてサービングを行う場合も、元のBF16版チェックポイントを対象に--speculative-config経由で本DSparkモデルを組み込む構成が案内されています。

vllm serve \
  --model openbmb/MiniCPM-V-4.7-35B-A3B \
  --served-model-name MiniCPM-V-4.7-35B-A3B \
  --tensor-parallel-size 2 \
  --max-model-len 40960 \
  --max-num-batched-tokens 40960 \
  --max-num-seqs 1 \
  --attention-backend FLASH_ATTN \
  --mm-encoder-attn-backend FLASH_ATTN \
  --mm-processor-kwargs '{"downsample_mode":"4x"}' \
  --trust-request-mm-kwargs \
  --disable-custom-all-reduce \
  --compilation-config '{"pass_config":{"fuse_allreduce_rms":false}}' \
  --speculative-config '{"method":"dspark","model":"openbmb/MiniCPM-V-4.7-35B-A3B-DSpark","num_speculative_tokens":15,"enable_adaptive_verification":false}' \
  --default-chat-template-kwargs '{"enable_thinking":false}'

モデルカードでは、ドラフトの量子化タイプは環境に収まる最小のものを選べばよく、Q8_0やQ6_Kが良いデフォルトの選択肢になると言及されています。

関連記事

次に読むなら

出典