「Maxwell-V1-Flash-GGUF」35BのMoEモデル:必要VRAM 24GB〜

「Maxwell-V1-Flash-GGUF」35BのMoEモデル:必要VRAM 24GB〜

基本情報

項目 内容
リポジトリ AtomicChat/Maxwell-V1-Flash-GGUF
公開日 2026-11-17
ライセンス apache-2.0
配布形式 GGUF
出典の種類 未確認(一次情報で裏付けできていない)(サードパーティのGGUF変換版で公式リリースではない)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

この情報は公式に確認が取れていません。 Hugging Face上のAtomicChatのリポジトリ AtomicChat/Maxwell-V1-Flash-GGUF の記載に基づく報告です。

Maxwellチームの Maxwell-V1-Flash を、Atomic Chatのチーム(AtomicChat)がGGUF化したものとされます。同チームが自前でllama.cpp向けの対応パッチを書いたと説明されています。ただしこのパッチを当てたllama.cppが必要で、通常のllama.cpp、LM Studio、Ollamaでは、まだ読み込めないと書かれています。

スペック

以下は元モデルのカードとGGUF版カードの記載です。

  • パラメータ数: 総計35B、トークンあたりの活性は3B(いずれもembeddingを除く)
  • アーキテクチャ: MoE(テキスト専用のcausal LM)。45層(Dense FFN 3層+MoE 42層)、ルーティングされるexpertは256個で12個が活性
  • アテンション: GQA(クエリ32ヘッド/KV 4ヘッド)。元モデルはblock-sparse attention
  • コンテキスト長: 256K(カード記載。GGUF側のconfigでは524,288)
  • 語彙サイズ: 200,704

性能

以下は元モデル maxwell-model/Maxwell-V1-Flash(ポストトレーニング済み)のカードにある、公開元自身の測定値です。第三者による検証ではありません。表は比較対象を4列に絞り、紙幅の都合で行も一部に絞っています。カードの表は途中までしか渡っておらず、Agent系の行は確認できていません。

→ 横にスクロールできます

Benchmark Qwen3.6 35B-A3B Gemma-4 26B-A4B-it Muse Glimmer-30B Maxwell V1.0-Flash
Instruction following
IFEval 93.80 94.00 96.80 93.00
Multi-turn
MultiChallenge (pass@1) 62.59 65.76 70.45 72.20
Long context
AA-LCR (mean@5) 71.70 65.70 79.60 75.60
LongBench V2 58.80 53.30 38.60 59.40
RULER 97.08 94.74 94.84 95.81
Multilingual
MGSM 90.3 91.1 93.2 93.0
Mathematics
AIME 2025 (mean@8) 90.00 85.83 92.08 96.25
HMMT February 2026 (mean@8) 83.33 71.21 83.33 91.29
Science
GPQA-Diamond (pass@1) 86.00 82.30 83.50 86.52
HLE (128K context) 21.40 20.60 21.83 24.79
Logic
BBEH (pass@1) 48.05 55.18 64.69 52.51
Code
LiveCodeBench v6 (pass@1) 85.32 85.96 76.80 85.66

数学の競技系(AIME 2025、HMMT February 2026)と、GPQA-Diamond、HLEで最高値です。数学では2位との差が大きく、GPQA-Diamondは僅差です。LiveCodeBench v6は85.66で、Gemma-4の85.96に及びません。差は小さく、同水準といえます。

弱点もあります。IFEvalは93.00で、Muse Glimmer-30Bの96.80に届きません。BBEHは52.51で、Muse Glimmer-30BとGemma-4の後ろです。RULERもQwen3.6の97.08に及びません。

量子化による劣化

GGUF版カードでは、BF16との次トークン分布の差(mean KLD)と、BF16と同じトークンを選ぶ割合(same top token)を、AtomicChat自身が測っています。

ファイル mean KLD same top token
Q8_0 0.0371 93.6%
AD-Q6_K 0.0482 92.6%
AD-Q6_K-Q5_K 0.0697 90.9%
AD-Q5_K-Q4_K 0.1383 87.3%
AD-Q4_K-IQ4_XS 0.1736 85.7%

カードは、このモデルは丸めに敏感で量子化の影響が大きめだと述べています。同クラスのモデルは通常95%超を保つのに、4.6 bits per weightで85.7%にとどまるとしています。20GB未満の構成は、same top tokenが80%を割ったため公開していないそうです。

Q8_0でも0.037と、丸め誤差による下限が含まれています。上の数値はこの下限を含みます。

得意なこと・想定用途

なお、本記事の内容は公式に確認が取れておらず、以下は元モデル Maxwell-V1-Flash のカードとGGUF版カードの記載に基づく報告です。

元モデルのカードは、推論・エージェント・長文脈の能力を実用的な推論コストで狙ったモデルだと説明しています。ポストトレーニングでは、検索、ターミナル操作、function calling、ソフトウェアエンジニアリングといったエージェント系タスクのRLブランチが設けられたとされます。GGUF版のタグにも agentic が付いており、ツール呼び出しと推論はチャットテンプレートに埋め込まれています。

  • 数学・科学の推論: 前半の表のとおり、AIME 2025やHMMT February 2026の数学系で比較対象を上回る値が報告されています。
  • 長文脈: 最大256Kトークンに対応するとされます。ただしGGUF版は後述のとおりblock-sparse attentionを実装しておらず、16K超ではオリジナルと挙動が異なります。
  • 多言語: トークナイザはタイ語、ラオ語、ミャンマー語、クメール語、シャン語を含む東南アジアの低リソース言語に配慮して作られたとされます。GGUF版カードは、タイ語での応答を llama-server --jinja で手動確認したと書いています。
  • ツール呼び出し: llama-server --jinja で推論とツール呼び出しが解釈されると報告されています。

注意点もあります。GGUF版カードによれば、このモデルは量子化の影響を受けやすいとされます。また、GGUF版ではblock-sparse attentionとMTP(multi-token prediction)ヘッドが未対応です。16Kトークンを超える入力では、元モデルが選択したブロックだけを参照するのに対し、GGUF版は全コンテキストを参照します。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 36.8B(元モデル maxwell-model/Maxwell-V1-Flash の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4090 / 3090 など 24GB IQ4_XS 19.4GB 23.2GB
RTX 5090 など 32GB Q5_K 25.3GB 30.4GB
RTX 6000 Ada / A6000 など 48GB Q8_0 35.8GB 42.9GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: IQ4_XS は実測 4.53 bit/weight で、元の16bitの重みの約28%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
LiquidAI/LFM2.5-24B-A2B-Base 24.0B 80GB lfm1.0 LiquidAI、超軽量推論モデル「LFM2.5-24B-A2B」を公開(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-FP8 24.0B 32GB lfm1.0 「LFM2.5-24B-A2B-FP8」FP8量子化済みのエージェント向けMoEモデル:必要VRAM 32GB〜(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-MLX-bf16 24.0B 80GB lfm1.0 「LFM2.5-24B-A2B-MLX-bf16」Apple Silicon向け推論モデル:必要VRAM 80GB〜(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-MLX-8bit 24.0B 32GB lfm1.0 「LFM2.5-24B-A2B-MLX-8bit」ツール呼び出しに強い推論特化のMoEモデル:必要VRAM 32GB〜(2026-11-17)
LiquidAI/LFM2.5-24B-A2B 24.0B 12GB lfm1.0 「LFM2.5-24B-A2B」エージェント特化のMoE推論モデル:必要VRAM 12GB〜・GGUF版あり(2026-11-17)

入手方法

  • 配布形式: GGUF(AtomicChat/Maxwell-V1-Flash-GGUF)。AtomicChatが、Maxwellチームの元のBF16重みから変換したとされます。BF16は2分割で、読み込み時は最初のパートを指定します。
  • ライセンス: Apache-2.0で、元モデル由来とされます。ゲート(利用規約への同意)は設定されていません。
  • 量子化の種類: Q8_0 と、Atomic Dynamic(AD)方式の AD-Q6_K、AD-Q6_K-Q5_K、AD-Q5_K-Q4_K、AD-Q4_K-IQ4_XS が並んでいます。ADは、routed experts以外をQ8_0に保ち、expertsだけをimatrix付きで量子化する方式と説明されています。
  • 対応エンジン: 同リポジトリの maxwell-moe-port.patch を当てたllama.cpp(コミット d3c3e242c)が必要です。通常のllama.cpp、LM Studio、Ollamaでは、まだ読み込めないとされています。vLLMは元モデル側のカードに記載があります。

ビルド手順はカードの記載どおりです。

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git checkout d3c3e242c16b8cbf51400fad410cd69b22d64f35
git apply /path/to/maxwell-moe-port.patch
cmake -B build -DGGML_CUDA=ON
cmake --build build -j --config Release --target llama-server llama-cli

Macでは -DGGML_CUDA=ON を外します(Metalは既定で有効)。起動例です。サンプリング設定は元モデルの公開元が示すものとされます。

./build/bin/llama-server -m Maxwell-V1-Flash-AD-Q4_K-IQ4_XS.gguf --jinja -c 32768 -ngl 99 \
    --temp 0.6 --top-p 0.95 --top-k 20

Thinkingは既定で有効です。無効にするには、リクエストで "chat_template_kwargs": {"enable_thinking": false} を送ります。サーバー起動時に --chat-template-kwargs '{"enable_thinking": false}' を指定する方法もあります。

同じ用途の既報モデル

当サイトが取り上げたテキスト生成のモデルを新しい順に並べています。用途は配布元がHugging Faceに付けたタスク(pipeline_tag)から機械的に分けたもので、最小のVRAM階層は当サイトの概算です。

テキスト生成のモデルをすべて見る →

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。