「Qwen3.8-Flash-Next-E384-FP4-Local」VLMモデル:必要メモリ約96GB

「Qwen3.8-Flash-Next-E384-FP4-Local」VLMモデル:必要メモリ約96GB

基本情報

項目 内容
リポジトリ autotrust/Qwen3.8-Flash-Next-E384-FP4-Local
公開元のまとめ Alibaba(Qwen) のモデルとライセンスのまとめ
公開日 2026-10-22
ライセンス nvidia-open-model-agreement
配布形式 safetensors
出典の種類 未確認(一次情報で裏付けできていない)(非公式派生版で0DL、一次情報なし)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

autotrust氏より、NVIDIAが公開した「Qwen3.8-Flash-Next-FP4-Local」の非公式派生版である「Qwen3.8-Flash-Next-E384-FP4-Local」が公開されたと報告されています。本情報は現時点で公式な確認が取れておらず、コミュニティによる未確認の報告に基づいている点に注意してください。本モデルは、Neural Architecture Search (NAS) を用いて、Mixture of Experts (MoE) 構造におけるエキスパート数を削減し、推論の軽量化を狙ったモデルとされています。

モデルカードによれば、デコーダーの各MoEレイヤーおよびMTP(Multi-Token Prediction)レイヤーにおいて、元の512個のエキスパートのうち384個を保持するように構成されています。これにより、モデルのサイズを約16%削減しつつ、コーディングやツール利用といった特定のタスクにおける性能を維持することを目指して作られたと報告されています。

スペック

資料に記載されているスペックは以下の通りです。本モデルは非公式の派生版であり、構成が一部変更されています。

  • パラメータ数:総パラメータ125B、活性化パラメータ6B(いずれもベースモデルの数値)
  • アーキテクチャ:Mixture of Experts (MoE) / Qwen4ExpForConditionalGeneration
  • エキスパート数:各レイヤー384個のルーティングエキスパート(元の512個から削減)
  • 活性化エキスパート:10個のルーティングエキスパート + 共有エキスパート
  • コンテキスト長:最大262,144トークン
  • 量子化形式:NVFP4

性能

公開元であるautotrust氏による測定結果が報告されています。比較対象は、削減前のオリジナルモデル(512エキスパート版)です。スコアはB200 GPUおよびvLLM 0.31.0を使用して測定されたものとされています。

主要ベンチマーク比較

→ 横にスクロールできます

capability benchmark setting original E384 Δ
reasoning (science) GPQA-Diamond (198) effort=low, 32k 85.9 77.3 −8.6
English knowledge MMLU test (14,042) effort=low, 16k 92.0 86.9 −5.1
Chinese knowledge C-Eval val (1,346) effort=low, 16k 93.5 89.0 −4.5
math AIME 2026 (30 × 4, pass@1) effort=xhigh, 64k 95.0 93.3 −1.7
vision MMMU val (900) effort=low, 16k 81.1 79.4 −1.7
code HumanEval (164) greedy, effort=low 97.0 97.6 +0.6
tool use BFCL v4 Non-Live AST effort=low 88.2 88.6 +0.4
BFCL v4 Live AST 79.3 78.9 −0.4
BFCL v4 Multi-Turn Base (200) 62.5 71.5 +9.0
BFCL v4 relevance / irrelevance 81.3 / 80.1 81.3 / 78.6 0 / −1.5

この表から、エキスパート数を25%削減した影響は分野によって大きく異なると言えます。MMLUやC-Eval、GPQA-Diamondといった知識集約型の多肢選択式タスクでは、4.5〜8.6ポイントの顕著な低下が見られます。一方で、HumanEval(コーディング)やBFCL(ツール利用)の一部項目では、オリジナルと同等、あるいはそれを上回るスコアを記録しています。特にBFCLのマルチターン項目では9.0ポイントの大幅な向上が報告されていますが、これはNASによる最適化の結果であると推測されています。

高負荷推論時の科学難問スコア

GPQA-Diamondにおいて、思考の予算(トークン数)を増やした場合の比較も報告されています。

setting original (512) E384 Δ
effort=low, 32k budget 85.9 77.3 −8.6
effort=xhigh, 259,000-token budget 90.9 (180/198) 85.9 (170/198) −5.1

この結果から、思考時間を十分に与えることで、エキスパート削減による知識の欠落をある程度補える可能性が示唆されています。低負荷時には8.6ポイントあった差が、高負荷時には5.1ポイントまで縮まっています。ただし、本モデルはオリジナルよりも長く思考する傾向があり、中央値で16,817トークンの推論を必要としたと報告されています。

MTP投機的デコーディングの高速化

本モデルには、独自の高速化レシピを適用したMTPレイヤーが含まれています。B200上での実測値は以下の通りです。

→ 横にスクロールできます

config k tok/s τ vs no MTP
no MTP 0 92.6 — 1.00×
native MTP 7 300.1 5.14 3.24×
this recipe 7 308.9 4.93 3.34×

このレシピを適用することで、MTPを使用しない場合と比較して最大3.34倍の推論速度向上を達成したとされています。これは、ドラフト時のボキャブラリー制限や量子化の最適化により、1ステップあたりの読み込みバイト数を大幅に削減した結果であると説明されています。

得意なこと・想定用途

本モデルは、特定のタスクにおいて高い効率を発揮することを目的に最適化されています。モデルカードの記述や capability_tags に基づくと、特に以下の分野での活用が期待されています。

まず、コーディングとエージェント(ツール利用)タスクにおいて、ベースモデルと同等以上の性能を維持している点が大きな特徴です。HumanEvalベンチマークではベースモデルを僅かに上回るスコアが報告されており、仕様に基づいたPython関数の実装などのプログラミング支援に適しているとされています。また、BFCLベンチマークの結果から、関数の選択や引数の組み立てといったツール利用の精度も高く、複雑な指示を遂行するAIエージェントとしての利用に向いています。特にマルチターン(複数回の対話)を伴うツール利用においては、ベースモデルを大きく上回る改善が見られたと報告されています。

また、本モデルは image-text-to-text タグが示す通り、画像とテキストの両方を入力として受け取ることができるマルチモーダルモデルです。図表や写真の内容を理解し、それに基づいた推論を行うことが可能です。ネイティブで262,144トークン、最大で1,000,000トークンまで拡張可能な非常に長いコンテキスト長をサポートしているため、大規模なドキュメントの解析や、大量の画像を含むコンテキストの処理にも対応できるとされています。

一方で、知識集約型のタスク(MMLUやC-Evalなど)では性能の低下が認められているため、広範な一般知識を問うクイズや、特定の専門知識をそのまま出力させる用途よりも、与えられた文脈やツールを活用して問題を解決する「推論エンジン」としての利用が推奨されています。NASによるエキスパート削減は、知識の保持量と引き換えに、特定の論理的タスクの効率を高めるトレードオフを選択したものと解釈できます。

類似モデルとの違い

当サイトでは、本モデルのベースとなったアーキテクチャの元モデルについて、「Qwen3.8-Flash-Next」マルチモーダル対応のMoEモデル:必要メモリ約402GB として紹介しています。

今回の「Qwen3.8-Flash-Next-E384-FP4-Local」と元モデルとの最大の違いは、推論時のリソース効率と実行環境の最適化にあります。元モデルはBF16精度で総パラメータ125Bという巨大な構成であり、動作には膨大なメモリを必要としていました。これに対し、今回のモデルはNVIDIAによるNVFP4量子化版をベースとし、さらにNAS(Neural Architecture Search)によってMoEのエキスパート数を512から384へと25%削減しています。これにより、モデルの重みファイルサイズを約16%削減し、より限られたハードウェアリソースでの動作を可能にしていると報告されています。

また、投機的デコーディング技術であるMTP(Multi-Token Prediction)レイヤーに対しても独自の最適化が施されています。ドラフト用のボキャブラリーを制限し、MTPレイヤー自体を量子化することで、1ステップあたりのデータ読み込み量を劇的に減らし、推論速度の向上を狙っている点が、標準的なQwen3.8-Flash-Nextシリーズとの大きな差異であるとされています。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
96GB超のVRAMが必要(複数GPUまたはCPUオフロードが前提) NVFP4(tensors) 79.8GB 95.8GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。

公開元の配布は safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。現時点で動かすなら transformers(PyTorch)・vLLM で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス nvidia-open-model-agreement: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(nvidia-open-model-agreement)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

入手方法

本モデルはHugging Faceのリポジトリから safetensors 形式で配布されています。実行には vLLM (検証済みバージョンは 0.31.0) が推奨されており、特にMTPによる高速化を利用するためには、リポジトリに含まれる独自のプラグインと環境変数の設定が必要であると報告されています。なお、本情報は公式に確認されたものではなく、コミュニティによる未確認の報告に基づいています。

具体的な起動手順としては、まず mtp_draft/plugin をインストールし、必要な環境変数を設定した上で vllm serve コマンドを実行する形式となります。

# プラグインのインストール
pip install -e mtp_draft/plugin

# 環境変数の設定
export Q38_DRAFT_HOME=$PWD/mtp_draft
export Q38_DRAFT_VOCAB=$PWD/mtp_draft/artifacts/draft_vocab_64k.pt
export Q38_DRAFT_HEAD_Q=marlin
export Q38_DRAFT_MTP_Q=marlin

# vLLMサーバーの起動例
vllm serve autotrust/Qwen3.8-Flash-Next-E384-FP4-Local \
  --speculative-config '{"method":"mtp","num_speculative_tokens":7,"use_local_argmax_reduction":true}' \
  --block-size 48

ライセンスについては、NVIDIA Open Model Agreement が適用されており、ベースモデルの Qwen Community License を継承しています。商用利用や配布に関しては、これらのライセンス条項を遵守する必要がある点に注意してください。なお、本モデルは gated モデルではないため、Hugging Face上での個別の利用申請や同意手続きなしにダウンロードが可能とされています。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-10-27 autotrust NVFP4 autotrust/Qwen3.8-Flash-Next-E384-FP4-V2 NVFP4 98.0GB(単体のGPUには収まらない)

各リポジトリの量子化とファイルサイズ:

  • autotrust/Qwen3.8-Flash-Next-E384-FP4-V2 の量子化: NVFP4 81.7GB

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。