「Muse-Spark-Open-816B-A42B-DFlash2」VLMモデル:必要VRAM 12GB〜

「Muse-Spark-Open-816B-A42B-DFlash2」VLMモデル:必要VRAM 12GB〜

基本情報

項目 内容
リポジトリ nvidia/Muse-Spark-Open-816B-A42B-DFlash2
公開元のまとめ NVIDIA のモデルとライセンスのまとめ
公開日 2026-10-16
ライセンス nvidia-open-model-agreement-license
配布形式 safetensors
論文 arXiv:2602.06036
出典の種類 公開元の一次情報(NVIDIA公式HFリポジトリが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

NVIDIAは、マルチモーダルMoE(Mixture-of-Experts)因果言語モデルであるMuse-Spark-Open-816B-A42Bの推論を高速化するための、DFlash 2ドラフトチェックポイントnvidia/Muse-Spark-Open-816B-A42B-DFlash2を公開しました。なお、ターゲットモデルであるMuse-Spark-Open-816B-A42BはNVIDIAによって開発されたものではなく、第三者の要件に基づいて構築されたモデルです。本モデルは、単体で動作するターゲットモデルとしてではなく、DFlash 2を用いた投機的デコーディング(Speculative Decoding)によって、ターゲットモデルのサービングを支援することを目的としています。

DFlash 2は、NVIDIA Model Optimizerを活用した技術であり、各サブレイヤーの周囲に2タップのインブロック畳み込み(two-tap in-block convolution)を追加し、各ポジションのトップk候補の中から一貫したパスを辿るペアワイズ・パスセレクター(pairwise path selector)を備えています。これにより、効率的なドラフト生成を可能にします。技術的な詳細は、論文「DFlash: Block Diffusion for Flash Speculative Decoding」に記載されています。

スペック

  • 総パラメータ数: 4.38B (トークン埋め込みと出力ヘッドはターゲットモデルと共有)
  • 活性パラメータ数: 4.38B (dense)
  • アーキテクチャ: Transformer (5 dense decoder layers, non-causal sliding-window attention, window 2048)
  • コンテキスト長: 最大1,000,000トークン

性能

公開元の測定によれば、本モデルの性能は「Acceptance Length (AL)」という指標で評価されています。これは、ドラフトモデルが一度のステップで提案したトークンが、ターゲットモデルによってどれだけ受け入れられたかを示すものです。なお、これらの数値はNVIDIA GB300ノードを使用し、reasoning effort xhigh、4,096 output tokens、concurrency 32の条件下で測定されています。

MT-Benchにおけるgreedy decoding(t=0)の結果は以下の通りです。

Category AL, greedy (t=0) AL, sampling (t=1)
writing 3.60 2.95
roleplay 3.18 2.64
reasoning 3.52 2.83
math 4.47 3.51
coding 4.34 3.43
extraction 4.60 3.43
stem 3.23 2.73
humanities 2.92 2.55
Overall Average 3.73 3.01

SPEED-Benchのqualitative splitにおける結果は以下の通りです。

Category AL, greedy (t=0) AL, sampling (t=1)
coding 4.15 3.31
humanities 3.23 2.61
math 3.95 3.13
multilingual 4.27 3.47
qa 3.43 2.76
rag 4.17 3.26
reasoning 3.85 3.09
roleplay 3.39 2.74
stem 3.42 2.83
summarization 4.04 3.24
writing 3.05 2.65
Overall Average 3.72 3.01

SPEED-Benchのthroughput splitにおける結果は以下の通りです。

Category AL, greedy (t=0) AL, sampling (t=1)
mixed 3.68 3.02
low_entropy 3.71 3.17
high_entropy 2.51 2.16
Overall Average 3.30 2.78

これらの表から、本モデルはextraction(4.60)やmath(4.47)、coding(4.34)といったタスクにおいて高いAcceptance Lengthを示しており、特定の論理的・構造的なタスクにおいて強力なドラフト能力を持つことが分かります。また、multilingual(4.27)やrag(4.17)でも高い数値が得られています。 一方で、high_entropyな状況下ではAcceptance Lengthが2.51(t=0)まで低下しており、エントロピーが高い(予測の不確実性が高い)ケースでは、ターゲットモデルへの受け入れ率が下がる傾向にあります。

得意なこと・想定用途

本モデルは、ターゲットモデルであるMuse-Spark-Open-816B-A42Bの推論を支援するためのドラフトモデルであり、その性能は元モデルの特性に依存します。元モデルの用途としては、ツールを活用したコーディングを含む、長文読解(long-context)やエージェント的なテキスト生成ワークフローの評価および開発が想定されています。

具体的には、以下のような能力を備えています。

  • マルチモーダル対応: テキスト、画像、ビデオ、オーディオの入力をサポートしています。
  • 長文コンテキスト: 入出力合わせた最大1,000,000トークンのコンテキスト長を扱えます。
  • エージェント・ツール利用: ツールを用いたコーディングや、エージェント的なワークフローへの対応が意図されています。

ドラフトモデルとしての特性上、特にmath(数学)やcoding(コーディング)、extraction(抽出)といった、論理的あるいは構造的な一貫性が求められるタスクにおいて、ターゲットモデルの出力を効率的に予測し、推論を加速させるのに適しています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 4.4B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4070 / 3060 12GB など 12GB BF16 8.2GB 9.8GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(nvidia-open-model-agreement-license)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
tencent/Youtu-Parsing-Omni 5.3B 12GB youtu-parsing 「Youtu-Parsing-Omni」オムニモーダル解析モデル:必要VRAM 12GB〜(2026-11-17)
tencent/WeVisOne-VL-4B 4.8B 4GB apache-2.0 Tencent、物体認識と画素処理を統合したビジョン言語モデル「WeVisOne-VL」公開(2026-11-17)
inclusionAI/ZwZ2-9B-GGUF 9.4B 8GB apache-2.0 「ZwZ2-9B-GGUF」空間知覚を強化した視覚言語モデル:必要VRAM 8GB〜(2026-11-17)
inclusionAI/ZwZ2-4B-GGUF 4.5B 4GB apache-2.0 「ZwZ2-4B-GGUF」複数領域の視覚推論を行う視覚言語モデル:必要VRAM 4GB〜(2026-11-17)
microsoft/Mage-VL-Cowork 4.7B 12GB apache-2.0 「Mage-VL-Cowork」GUI操作とコード実行をこなす4Bの視覚言語モデル:必要VRAM 12GB〜(2026-11-17)

入手方法

  • 配布形式: safetensors
  • 対応エンジン: TRT-LLM, vLLM

vLLMを使用して、ターゲットモデルと共に利用する場合は、以下のコマンドのように--speculative-configを指定して起動します。

vllm serve meta-models/Muse-Spark-Open-816B-A42B \
    --speculative-config '{"method": "dflash", "model": "nvidia/Muse-Spark-Open-816B-A42B-DFlash2", "num_speculative_tokens": 7, "draft_sample_method": "probabilistic"}' \
    --trust-remote-code

利用にあたっては、NVIDIA Open Model Agreementに従う必要があります。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-10-16 ggml-org GGUF ggml-org/Muse-Spark-Open-816B-A42B-GGUF Q2_K 339.8GB(単体のGPUには収まらない)

各リポジトリの量子化とファイルサイズ:

  • ggml-org/Muse-Spark-Open-816B-A42B-GGUF の量子化: Q2_K 283.2GB / Q4_K_S 437.8GB / Q8_0 811.8GB / BF16 1527.6GB

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典