「Qwen3.8-27B-NVFP4-DGX-SPARK-V2」NVFP4量子化の27Bモデル:必要VRAM 24GB〜

「Qwen3.8-27B-NVFP4-DGX-SPARK-V2」NVFP4量子化の27Bモデル:必要VRAM 24GB〜

基本情報

項目 内容
リポジトリ autotrust/Qwen3.8-27B-NVFP4-DGX-SPARK-V2
公開日 2026-10-28
ライセンス apache-2.0
配布形式 safetensors
出典の種類 未確認(一次情報で裏付けできていない)(非公式のサードパーティ製量子化版であり、一次情報が確認できない)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

本情報は公式に確認されたものではありません。autotrustより、Qwen3.8-27B NVFP4のチェックポイントと、64k MTP(Multi-Token Prediction)レシピを組み合わせたリポジトリが公開されたと報告されています。

このリポジトリは、Qwen3.8-27B NVFP4の完全なチェックポイント(MTPテンソルを含む)と、autotrust/Qwen3.8-27B-NVFP4-DGX-SPARKから提供される「64k-vocabulary MTP recipe」を統合したものです。ここで提供される64k MTPの最適化は、safetensorsの重みに直接書き込まれているわけではなく、同梱されているvLLMプラグインまたはオフラインのPythonパッチによってロードされる「ランタイムパッチ」として機能します。このパッチは、ドラフトヘッドの語彙行数を248,320行から64,026行に制限し、量子化GEMMカーネルのために64,064行へとパディングを行うことで、ドラフトステップを大幅に軽量化します。この仕組みにより、より多くの投機的トークン数を扱うことが可能になるとされています。本構成は、Blackwell GPU(B200やDGX Spark / GB10)をターゲットとして設計されています。

スペック

  • アーキテクチャ: Qwen3_5ForConditionalGeneration
  • 量子化: NVFP4
  • MTP: 64k-vocabulary MTP recipe

性能

モデルカードには、他モデルとの比較表やベンチマークの図は掲載されていません。

しかし、公開元の報告によれば、この64k MTPパッチを適用することでドラフトステップが大幅に小さくなり、より多くの投機的トークン数を扱うことが可能になるとされています。具体的な検証結果として、B200環境ではnum_speculative_tokens: 7、DGX Spark環境では8が、それぞれ妥当な開始ポイントとして報告されています。

このパッチは、実行時に高度な量子化処理を組み込んでいます。具体的には、ターゲットとなるlm_headからドラフトヘッドを収集し、実行時にMarlin NVFP4 W4A16へと量子化を行います。また、5つのMTP線形投影(linear projections)についても、実行時にMarlin NVFP4へと量子化されます。なお、このプロセスにおいて、ターゲットモデル本体および検証用のlm_headには一切の影響を与えないよう設計されており、推論効率の向上が期待されています。

得意なこと・想定用途

本モデルは、Blackwellアーキテクチャを採用したGPU(B200やDGX Spark / GB10)での高速な推論を目的として設計されています。特に、MTP(Multi-Token Prediction)技術を用いた投機的デコーディング(Speculative Decoding)による推論の加速に特化した構成となっています。

具体的には、以下の特徴があります。

  • 投機的デコーディングの効率化: 64k MTPパッチを適用することでドラフトステップを大幅に軽量化し、一度に生成できる投機的トークン数を増やすことができます。B200では7トークン、DGX Sparkでは8トークン程度の投機的トークン設定が推奨されています。
  • 高度な量子化による高速化: 実行時にドラフトヘッドやMTPの線形投影をMarlin NVFP4へと量子化することで、推論効率を向上させます。
  • マルチモーダル・対話への対応: タグによれば、テキスト生成(text-generation)や対話(conversational)に対応しており、英語(en)および中国語(zh)をサポートしています。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4090 / 3090 など 24GB NVFP4 18.4GB 22.1GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。

公開元の配布は safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。現時点で動かすなら transformers(PyTorch)・vLLM で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

入手方法

本モデルは、Hugging Faceから以下の手順で入手できます。配布形式は safetensors です。

export MODEL_DIR="$HOME/models/Qwen3.8-27B-NVFP4-DGX-SPARK-V2"

HF_HUB_ENABLE_HF_TRANSFER=1 \
hf download autotrust/Qwen3.8-27B-NVFP4-DGX-SPARK-V2 \
  --local-dir "$MODEL_DIR"

cd "$MODEL_DIR"

動作には、専用のvLLMプラグインをインストールする必要があります。以下の手順で環境を構築します。

python3 -m venv.venv
source.venv/bin/activate
python -m pip install -U pip

pip install "vllm==0.31.0"
pip install -e./mtp64k/plugin

また、実行時には以下の環境変数の設定が推奨されています。

export SPARK_DRAFT_HOME="$PWD/mtp64k/scripts"
export SPARK_DRAFT_VOCAB="$PWD/mtp64k/artifacts/draft_vocab_64k.pt"
export SPARK_DRAFT_HEAD_Q=marlin
export SPARK_DRAFT_MTP_Q=marlin

対応する推論エンジンは vLLM(バージョン 0.31.0)です。SGLangやTensorRT-LLMには対応していません。

関連記事

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。