意思決定モデル「vllm-d3-GGUF」シリーズ公開

意思決定モデル「vllm-d3-GGUF」シリーズ公開

基本情報

項目 内容
リポジトリ ggml-org/vllm-d3-GGUF
まとめページ Qwen3.8 のまとめ(記事10本)
公開元のまとめ Alibaba(Qwen) のモデルとライセンスのまとめ
公開日 2026-10-12
ライセンス apache-2.0
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリで一次情報が確認可能)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-orgより、意思決定モデル「vllm-d3」シリーズのGGUF形式への変換版が公開されました。今回公開されたのは「ggml-org/vllm-d3-GGUF」をはじめ、「vllm-d3-nano-GGUF」「vllm-d3-mini-GGUF」「vllm-d3-lite-GGUF」「vllm-d3-flash-GGUF」の5モデルです。

これらのモデルはvLLM Semantic RouterのDecision 3.0モデル群を自動変換ツールでGGUF化したもので、テキストやJSON、画像、動画を入力とし、テキスト生成を行わずに1回の呼び出しで選択肢・Yes/No・スコアなどの判定結果と確率を返す意思決定(ディシジョン)用途に特化しています。llama.cppの/v1/systemone APIなどを通じてローカル環境で手軽に実行できるようになっています。

スペック

元モデルである「vllm-sr/d3-flash」のモデルカードに記載されているスペックは以下の通りです。

  • パラメータ数: 8.39B(0.46Bのビジョンエンコーダーを含む)
  • アーキテクチャ: Qwen3_5Model

性能

今回公開されたリポジトリはGGUF変換版のため、元モデルである「vllm-sr/d3-flash」のモデルカードに掲載されているベンチマーク結果を紹介します。量子化版では量子化処理に伴い多少の精度変化が生じる可能性があります。

以下は、テキスト入力における意思決定性能を評価する「Jev Decision Index 0.3.1」の比較表です。公開元のモデルカードに記載された数値をそのまま掲載しています。

→ 横にスクロールできます

Model Jev Decision Index ↑ Public ↑ Same-skill tests ↑ New-domain tasks ↑
d3-flash 59.0 57.8 57.5 52.9
Bespoke Nimble 9B v3 54.7 57.2 52.3 49.1
Nace.AI Drex v1.5 50.8 58.1 51.9 39.7
AJev lora5 (Gemma 4 12B) 50.0 51.7 51.4 41.5
Winnow-12B 49.3 50.7 48.1 44.2
Decision 2.0 (9B) 48.2 46.8 47.4 44.5

公開元による測定結果によれば、d3-flashは総合スコアであるJev Decision Indexで59.0を記録し、前世代にあたるDecision 2.0 (9B)の48.2から大幅にスコアを伸ばしています。比較対象となっている同規模帯の9Bモデルや12Bモデルに対しても、Same-skill tests(57.5)やNew-domain tasks(52.9)を含めた総合スコアで最も高い値をマークしています。ただし、Public単体のスコアにおいてはNace.AI Drex v1.5の58.1に僅かに及ばず、57.8にとどまっています。

続いて、画像入力に対する意思決定性能を示す「Jev Decision Index vision board 0.3.1」の比較表です。

Model Vision Index ↑ Public ↑ Private ↑
d3-flash 66.9 69.5 64.3
JPT-9B 61.7 65.4 58.0
Winnow-12B 58.8 63.9 53.6
Jev-Omni (12B) 56.1 60.1 52.1

画像入力の評価においても、d3-flashはVision Indexで66.9、Publicで69.5、Privateで64.3となっており、JPT-9BやWinnow-12Bなどの他モデルを上回るスコアを示しています。

また、d3-flash単体の画像系・動画系ベンチマークの実測値として以下の数値が公開されています。画像理解の指標であるMMMU-Pro visionでは38.7となっています。

Benchmark d3-flash
CV-Bench 75.2
BLINK 55.5
RealWorldQA 63.4
CharXiv † 83.0
InfographicVQA † 95.1
Mind2Web † 85.1
Winoground 83.3
KIE (CORD+FUNSD) † 96.3
Moderation (Hateful Memes) 41.3
R-Bench-M 20.8
MMMU-Pro vision 38.7

さらに、動画理解のベンチマークであるPerception Test(validation)の結果は以下の通りです(公開元による内部評価値)。

Perception Test (validation) d3-flash
All 19,140 questions 73.3
Memory 75.5
Abstraction 68.7
Physics 66.1
Semantics 86.1

全19,140問を対象とした総合スコアは73.3となっており、分野別ではSemanticsで86.1、Memoryで75.5と高い精度を示している一方、Physicsは66.1となっています。

得意なこと・想定用途

元モデルである「vllm-sr/d3-flash」をはじめとするDecision 3.0シリーズは、一般的なテキスト生成を行う対話モデルとは異なり、入力に対する構造化された判定を直接行う「意思決定モデル(Decision Model)」として設計されています。

入力にはテキストやJSONのほか、画像や動画を同時に渡すことができます。1リクエスト内で複数の画像(PNG、JPEG、WebP形式)や、毎秒2フレームでサンプリングされた動画(MP4、WebM、MOV、MKV形式)を読み込み、それらに対して一度の推論で複数の質問に回答できます。対応している質問の形式は、複数の選択肢から選ぶ「Choice」、二者択一の「Yes / No」、そして段階評価を行う「Score」の3種類です。各選択肢の確率値を直接出力するため、出力テキストを構文解析する手間がかかりません。

想定される用途としては、ユーザーからの問い合わせの適切な担当部署への振り分け(ルーティング)や、領収書や請求書などの画像から必要な項目の有無を判定するドキュメント処理、動画内の物体の動きや状態変化を識別するマルチモーダルな検証タスクなどが挙げられます。また、テキストを生成しない特性を活かして、パイプライン処理の初期段階で迅速な分類やフィルタリングを行う用途にも適しています。

類似モデルとの違い

当サイトでは以前、同じく構造化された判定に特化したモデルとして「clef」構造化意思決定モデル:必要VRAM 12GB〜・GGUF版ありを取り上げました。ClefはQwen3.8-27Bをベースにした27B規模のマルチモーダル意思決定モデルであるのに対し、今回のvllm-d3シリーズはQwen3.5系の各モデルをベースとしており、nano(2Bベース)、mini(4Bベース)、lite(0.8Bベース)、flash(9Bベース)、そして27Bベースの標準版まで、用途や計算資源に合わせて幅広いモデルサイズから選択できる点が異なります。

また、同じQwen3.8-27B派生モデルである「OrcaSAQ-2-27B」テキスト生成モデル:当サイトでの回答例・必要VRAM 16GB〜が通常の対話やテキスト生成を行うジェネレーティブなモデルであるのに対し、本シリーズはテキストを生成せず、選択肢や確率を直接返す「System One」APIに特化した設計になっている点が決定的な違いです。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 26.1B(元モデル vllm-sr/d3 の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4090 / 3090 など 24GB Q4_K_M 18.1GB 21.7GB
RTX 5090 など 32GB Q8_0 26.6GB 32.0GB
A100 / H100 80GB クラス BF16 50.1GB 60.1GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q4_K_M は実測 5.96 bit/weight で、元の16bitの重みの約37%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
ggml-org/Muse-Glimmer-30B-GGUF 29.8B 24GB apache-2.0 「Muse-Glimmer-30B-GGUF」30Bのマルチモーダルローカルエージェントモデル:必要VRAM 24GB〜(2026-11-17)
Cloudflare/clef-omni 35.3B 80GB apache-2.0 「clef-omni」30Bのマルチモーダル意思決定モデル:必要VRAM 80GB〜(2026-11-17)
inclusionAI/ZwZ2-27B-GGUF 27.4B 24GB — 「ZwZ2-27B-GGUF」視覚言語モデル:必要VRAM 24GB〜(2026-11-17)
ggml-org/OpenJev-GGUF 27.4B 24GB cc-by-nc-4.0 「OpenJev-GGUF」27.4Bの意思決定特化型モデル:必要VRAM 24GB〜(2026-10-01)

入手方法

今回公開されたモデルはGGUF形式で配布されており、Hugging Faceの各リポジトリから入手できます。ゲート付きモデルではないため、個別の利用規約への同意申請を行わずに直接ダウンロードが可能です。

llama.cppのサーバー機能を用いてモデルを起動する場合は、以下のコマンドを実行します。

llama serve -hf ggml-org/vllm-d3-GGUF

小型モデルを動かす場合は、リポジトリ名を指定して起動します。例えばd3-flashを実行する場合は以下のようになります。

llama serve -hf ggml-org/vllm-d3-flash-GGUF

起動後は、/v1/systemone エンドポイント経由でAPIリクエストを送信して意思決定処理を実行できます。また、ブラウザ上で動作するllama.appにも対応しています。

関連記事

次に読むなら

出典