「MiniCPM-V-4.7-1B-DSpark-gguf」テキスト生成モデル:必要VRAM 4GB〜

「MiniCPM-V-4.7-1B-DSpark-gguf」テキスト生成モデル:必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ openbmb/MiniCPM-V-4.7-1B-DSpark-gguf
まとめページ MiniCPM-V-4.7-DSpark のまとめ(記事2本)
公開元のまとめ OpenBMB のモデルとライセンスのまとめ
公開日 2026-10-15
ライセンス apache-2.0
配布形式 GGUF
論文 arXiv:2607.05147
出典の種類 公開元の一次情報(公式アカウントopenbmbのGGUF公開リポジトリ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

openbmbより、マルチモーダルLLM(VLM)である「MiniCPM-V-4.7-1B」の推論を大幅に高速化するためのドラフトモデル「MiniCPM-V-4.7-1B-DSpark」のGGUF版が公開されました。本モデルは、投機的デコード(Speculative Decoding)専用のチェックポイントであり、ターゲットとなるMiniCPM-V-4.7-1Bと組み合わせて使用することで、出力の品質を維持したまま生成速度を向上させることができます。

本モデルが採用している「DSpark」は、論文「DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation」で提案された新しい投機的デコードフレームワークです。従来の並列ドラフトモデルは、一度に多くのトークンを提案できる一方で、トークン間の依存関係が欠如しているために承認率が急激に低下するという課題がありました。DSparkは、半自己回帰(Semi-Autoregressive)アーキテクチャを導入することで、軽量なシーケンシャルモジュールを組み合わせ、ブロック内での依存関係をモデル化しています。これにより、高いスループットと承認率の両立を狙っています。また、検証プロセスにおいて、プレフィックスの生存確率に基づいて検証の長さを動的に調整する「信頼度スケジュール検証(confidence-scheduled verification)」を採用し、システム全体の効率を最適化しています。論文によれば、DeepSeek-V4のサービングシステムに導入した際、従来のベースラインと比較してユーザーあたりの生成速度を60パーセントから85パーセント向上させたことが報告されています。

スペック

本モデルはドラフトモデルとしての特殊な構成を持っており、以下の仕様が公開されています。

  • ターゲットモデル: MiniCPM-V-4.7-1B
  • ドラフトレイヤー数: 5
  • ドラフトパラメータ数: 213,547,777
  • ドラフトトークン数(1フォワードパスあたり): 15
  • ターゲット隠れ状態レイヤー: [3, 7, 11, 15, 19]
  • チェックポイント精度: BF16
  • トレーニングシーケンス数: 2M
  • エポック数: 6
  • オプティマイザ: AdamW
  • 目的関数: CE + L1 + confidence loss

性能

モデルカードでは、投機的デコードの効率を測る指標として「Accept Length(承認長)」が報告されています。承認長とは、1回の検証ステップにおいて平均して何トークンが承認(採用)されたかを示す数値であり、この値が高いほど高速化の恩恵が大きくなります。評価では、自然なEOS(文末)停止と、max_new_tokens=8192 の設定が用いられています。

Domain Accept Length
Vision
MMMU 3.452
MathVista 4.333
CharXiv_reasoning_val 4.452
OCRBench 4.752
Text
Math 5.891
Code 5.347
General 3.370

公開元の測定結果によれば、特に「Math(数学)」と「Code(コード)」のテキスト生成分野において、それぞれ5.891および5.347という高い承認長を記録しています。これは、これらの論理的な構造を持つタスクにおいて、ドラフトモデルによる予測が非常に効率的に機能していることを示しています。仕様どおりに関数を実装するようなコーディングタスクや、数学的な推論において、大きな加速が期待できます。

一方で、画像理解を伴う「Vision」分野では、OCRBenchの4.752が最高値となっており、MMMU(図表や写真を含む大学レベルの問題)では3.452に留まっています。画像中の文字を読み取るOCRタスクに比べると、高度な画像理解を要するタスクでは、1ステップあたりの承認トークン数が少なくなる傾向にあります。また、テキストの「General(一般)」タスクにおいても3.370となっており、専門的な数学・コードタスクほどの効率は出ていません。

なお、これらの数値はドラフトモデルとしての効率を示すものであり、最終的に生成される回答の正確性は、検証を行うターゲットモデル(MiniCPM-V-4.7-1B)の性能に準拠します。量子化(GGUF版)を用いる場合、承認長は元のBF16版と比較して多少変動する可能性がありますが、出力されるテキストの内容そのものが劣化することはありません。

得意なこと・想定用途

本モデルは単体の生成モデルではなく、MiniCPM-V-4.7-1Bの推論を高速化するための専用ドラフトモデルです。したがって「得意なこと」は、ターゲットモデルであるMiniCPM-V-4.7-1Bが持つ能力(画像理解、ツール呼び出し、オンデバイス/エッジAI向けの軽量動作、英語・中国語対応)を、生成速度を落とさずに引き出す点にあります。

タグからも、vision-understanding(画像理解)、tool-calling(ツール呼び出し)、on-device・edge-ai(端末上での軽量実行)がMiniCPM-V-4.7-1B側の特徴として確認できます。性能の節で見たとおり、数学・コードといった構造的なタスクでは承認長が高く、投機的デコードの効果が大きく出やすい領域です。一方、画像を深く理解する必要があるタスクでは承認長がやや低く、高速化の恩恵は相対的に小さくなります。

用途としては、エッジデバイスやローカル環境でMiniCPM-V-4.7-1Bをチャットボットやマルチモーダルアシスタントとして動かしつつ、応答速度を改善したい場合に向いています。単独でチャットに使うモデルではない点に注意が必要です。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 214M(元モデル openbmb/MiniCPM-V-4.7-1B-DSpark の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) F16 0.4GB 0.5GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
openbmb/MiniCPM-V-4.7-35B-A3B-DSpark-gguf 389M 4GB apache-2.0 「MiniCPM-V-4.7-35B-A3B-DSpark-gguf」高速化用ドラフトモデル:必要VRAM 4GB〜(2026-11-17)
IFM/Jais-3-0.9B-GGUF 1.1B 4GB apache-2.0 「Jais-3-0.9B-GGUF」バイリンガル対応のDenseモデル:必要VRAM 4GB〜(2026-11-17)
nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 4.0B 4GB openmdw-1.1 NVIDIA、ループ型LLM「Dory1.0-4B」を公開。最大256K対応(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-DSpark 328M 4GB lfm1.0 「LFM2.5-24B-A2B-DSpark」推測デコード用のドラフトモデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-DSpark-GGUF 328M 4GB lfm1.0 「LFM2.5-24B-A2B-DSpark-GGUF」投機的デコーディング用のドラフトモデル:必要VRAM 4GB〜(2026-11-17)

入手方法

本リポジトリは、MiniCPM-V-4.7-1B-DSparkのGGUF(llama.cpp)量子化版です。配布形式はGGUFで、ライセンスはapache-2.0、ゲート(利用規約への同意)は不要です。

llama.cppで使う場合は、ターゲットモデル本体・ビジョンプロジェクタ(mmproj)・本リポジトリのドラフトを別々にダウンロードする必要があります。

huggingface-cli download openbmb/MiniCPM-V-4.7-1B-gguf MiniCPM-V-4_7-1B-Q4_K_M.gguf mmproj-model-f16.gguf --local-dir./1B-gguf
huggingface-cli download openbmb/MiniCPM-V-4.7-1B-DSpark-gguf dspark-MiniCPM-V-4_7-1B-Q8_0.gguf --local-dir./1B-gguf

実行例(画像付きプロンプト、投機的デコード有効):

llama-cli \
  -m./1B-gguf/MiniCPM-V-4_7-1B-Q4_K_M.gguf \
  --mmproj./1B-gguf/mmproj-model-f16.gguf \
  -md./1B-gguf/dspark-MiniCPM-V-4_7-1B-Q8_0.gguf \
  --spec-type draft-dspark \
  --image image.jpg -p "Describe this image." \
  -ngl 99 -ngld 99 -fa on -c 8192

カードによれば、dflashアーキテクチャとDSpark Markov headに対応したllama.cppビルドが必要とされています。ドラフト側の量子化は出力内容そのものには影響せず承認長(速度)にのみ影響するため、Q8_0またはQ6_Kが推奨の既定値とされています。また、vLLMでも--speculative-configに"method":"dspark"を指定することで利用できると説明されています。

関連記事

次に読むなら

出典