「Maxwell-V1-Flash-GGUF」35BのMoEモデル:必要VRAM 24GB〜

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | AtomicChat/Maxwell-V1-Flash-GGUF |
| 公開日 | 2026-11-17 |
| ライセンス | apache-2.0 |
| 配布形式 | GGUF |
| 出典の種類 | 未確認(一次情報で裏付けできていない)(サードパーティのGGUF変換版で公式リリースではない) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
この情報は公式に確認が取れていません。 Hugging Face上のAtomicChatのリポジトリ AtomicChat/Maxwell-V1-Flash-GGUF の記載に基づく報告です。
Maxwellチームの Maxwell-V1-Flash を、Atomic Chatのチーム(AtomicChat)がGGUF化したものとされます。同チームが自前でllama.cpp向けの対応パッチを書いたと説明されています。ただしこのパッチを当てたllama.cppが必要で、通常のllama.cpp、LM Studio、Ollamaでは、まだ読み込めないと書かれています。
スペック
以下は元モデルのカードとGGUF版カードの記載です。
- パラメータ数: 総計35B、トークンあたりの活性は3B(いずれもembeddingを除く)
- アーキテクチャ: MoE(テキスト専用のcausal LM)。45層(Dense FFN 3層+MoE 42層)、ルーティングされるexpertは256個で12個が活性
- アテンション: GQA(クエリ32ヘッド/KV 4ヘッド)。元モデルはblock-sparse attention
- コンテキスト長: 256K(カード記載。GGUF側のconfigでは524,288)
- 語彙サイズ: 200,704
性能
以下は元モデル maxwell-model/Maxwell-V1-Flash(ポストトレーニング済み)のカードにある、公開元自身の測定値です。第三者による検証ではありません。表は比較対象を4列に絞り、紙幅の都合で行も一部に絞っています。カードの表は途中までしか渡っておらず、Agent系の行は確認できていません。
→ 横にスクロールできます
| Benchmark | Qwen3.6 35B-A3B | Gemma-4 26B-A4B-it | Muse Glimmer-30B | Maxwell V1.0-Flash |
|---|---|---|---|---|
| Instruction following | ||||
| IFEval | 93.80 | 94.00 | 96.80 | 93.00 |
| Multi-turn | ||||
| MultiChallenge (pass@1) | 62.59 | 65.76 | 70.45 | 72.20 |
| Long context | ||||
| AA-LCR (mean@5) | 71.70 | 65.70 | 79.60 | 75.60 |
| LongBench V2 | 58.80 | 53.30 | 38.60 | 59.40 |
| RULER | 97.08 | 94.74 | 94.84 | 95.81 |
| Multilingual | ||||
| MGSM | 90.3 | 91.1 | 93.2 | 93.0 |
| Mathematics | ||||
| AIME 2025 (mean@8) | 90.00 | 85.83 | 92.08 | 96.25 |
| HMMT February 2026 (mean@8) | 83.33 | 71.21 | 83.33 | 91.29 |
| Science | ||||
| GPQA-Diamond (pass@1) | 86.00 | 82.30 | 83.50 | 86.52 |
| HLE (128K context) | 21.40 | 20.60 | 21.83 | 24.79 |
| Logic | ||||
| BBEH (pass@1) | 48.05 | 55.18 | 64.69 | 52.51 |
| Code | ||||
| LiveCodeBench v6 (pass@1) | 85.32 | 85.96 | 76.80 | 85.66 |
数学の競技系(AIME 2025、HMMT February 2026)と、GPQA-Diamond、HLEで最高値です。数学では2位との差が大きく、GPQA-Diamondは僅差です。LiveCodeBench v6は85.66で、Gemma-4の85.96に及びません。差は小さく、同水準といえます。
弱点もあります。IFEvalは93.00で、Muse Glimmer-30Bの96.80に届きません。BBEHは52.51で、Muse Glimmer-30BとGemma-4の後ろです。RULERもQwen3.6の97.08に及びません。
量子化による劣化
GGUF版カードでは、BF16との次トークン分布の差(mean KLD)と、BF16と同じトークンを選ぶ割合(same top token)を、AtomicChat自身が測っています。
| ファイル | mean KLD | same top token |
|---|---|---|
Q8_0 |
0.0371 | 93.6% |
AD-Q6_K |
0.0482 | 92.6% |
AD-Q6_K-Q5_K |
0.0697 | 90.9% |
AD-Q5_K-Q4_K |
0.1383 | 87.3% |
AD-Q4_K-IQ4_XS |
0.1736 | 85.7% |
カードは、このモデルは丸めに敏感で量子化の影響が大きめだと述べています。同クラスのモデルは通常95%超を保つのに、4.6 bits per weightで85.7%にとどまるとしています。20GB未満の構成は、same top tokenが80%を割ったため公開していないそうです。
Q8_0でも0.037と、丸め誤差による下限が含まれています。上の数値はこの下限を含みます。
得意なこと・想定用途
なお、本記事の内容は公式に確認が取れておらず、以下は元モデル Maxwell-V1-Flash のカードとGGUF版カードの記載に基づく報告です。
元モデルのカードは、推論・エージェント・長文脈の能力を実用的な推論コストで狙ったモデルだと説明しています。ポストトレーニングでは、検索、ターミナル操作、function calling、ソフトウェアエンジニアリングといったエージェント系タスクのRLブランチが設けられたとされます。GGUF版のタグにも agentic が付いており、ツール呼び出しと推論はチャットテンプレートに埋め込まれています。
- 数学・科学の推論: 前半の表のとおり、AIME 2025やHMMT February 2026の数学系で比較対象を上回る値が報告されています。
- 長文脈: 最大256Kトークンに対応するとされます。ただしGGUF版は後述のとおりblock-sparse attentionを実装しておらず、16K超ではオリジナルと挙動が異なります。
- 多言語: トークナイザはタイ語、ラオ語、ミャンマー語、クメール語、シャン語を含む東南アジアの低リソース言語に配慮して作られたとされます。GGUF版カードは、タイ語での応答を
llama-server --jinjaで手動確認したと書いています。 - ツール呼び出し:
llama-server --jinjaで推論とツール呼び出しが解釈されると報告されています。
注意点もあります。GGUF版カードによれば、このモデルは量子化の影響を受けやすいとされます。また、GGUF版ではblock-sparse attentionとMTP(multi-token prediction)ヘッドが未対応です。16Kトークンを超える入力では、元モデルが選択したブロックだけを参照するのに対し、GGUF版は全コンテキストを参照します。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 36.8B(元モデル maxwell-model/Maxwell-V1-Flash の値)
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| RTX 4090 / 3090 など 24GB | IQ4_XS | 19.4GB | 23.2GB |
| RTX 5090 など 32GB | Q5_K | 25.3GB | 30.4GB |
| RTX 6000 Ada / A6000 など 48GB | Q8_0 | 35.8GB | 42.9GB |
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
Ollama・LM Studio・llama.cpp でそのまま動かせます。
GGUF形式で配布されているため、変換を待たずに手元で読み込めます。
ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。
量子化の圧縮率: IQ4_XS は実測 4.53 bit/weight で、元の16bitの重みの約28%のサイズです(配布ファイルの実サイズから当サイトが算出)。
配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
同クラスの既報モデル
当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。
→ 横にスクロールできます
| モデル | パラメータ数 | 最小のVRAM階層 | ライセンス | 記事 |
|---|---|---|---|---|
| LiquidAI/LFM2.5-24B-A2B-Base | 24.0B | 80GB | lfm1.0 | LiquidAI、超軽量推論モデル「LFM2.5-24B-A2B」を公開(2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B-FP8 | 24.0B | 32GB | lfm1.0 | 「LFM2.5-24B-A2B-FP8」FP8量子化済みのエージェント向けMoEモデル:必要VRAM 32GB〜(2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B-MLX-bf16 | 24.0B | 80GB | lfm1.0 | 「LFM2.5-24B-A2B-MLX-bf16」Apple Silicon向け推論モデル:必要VRAM 80GB〜(2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B-MLX-8bit | 24.0B | 32GB | lfm1.0 | 「LFM2.5-24B-A2B-MLX-8bit」ツール呼び出しに強い推論特化のMoEモデル:必要VRAM 32GB〜(2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B | 24.0B | 12GB | lfm1.0 | 「LFM2.5-24B-A2B」エージェント特化のMoE推論モデル:必要VRAM 12GB〜・GGUF版あり(2026-11-17) |
入手方法
- 配布形式: GGUF(
AtomicChat/Maxwell-V1-Flash-GGUF)。AtomicChatが、Maxwellチームの元のBF16重みから変換したとされます。BF16は2分割で、読み込み時は最初のパートを指定します。 - ライセンス: Apache-2.0で、元モデル由来とされます。ゲート(利用規約への同意)は設定されていません。
- 量子化の種類:
Q8_0と、Atomic Dynamic(AD)方式のAD-Q6_K、AD-Q6_K-Q5_K、AD-Q5_K-Q4_K、AD-Q4_K-IQ4_XSが並んでいます。ADは、routed experts以外をQ8_0に保ち、expertsだけをimatrix付きで量子化する方式と説明されています。 - 対応エンジン: 同リポジトリの
maxwell-moe-port.patchを当てたllama.cpp(コミットd3c3e242c)が必要です。通常のllama.cpp、LM Studio、Ollamaでは、まだ読み込めないとされています。vLLMは元モデル側のカードに記載があります。
ビルド手順はカードの記載どおりです。
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git checkout d3c3e242c16b8cbf51400fad410cd69b22d64f35
git apply /path/to/maxwell-moe-port.patch
cmake -B build -DGGML_CUDA=ON
cmake --build build -j --config Release --target llama-server llama-cli
Macでは -DGGML_CUDA=ON を外します(Metalは既定で有効)。起動例です。サンプリング設定は元モデルの公開元が示すものとされます。
./build/bin/llama-server -m Maxwell-V1-Flash-AD-Q4_K-IQ4_XS.gguf --jinja -c 32768 -ngl 99 \
--temp 0.6 --top-p 0.95 --top-k 20
Thinkingは既定で有効です。無効にするには、リクエストで "chat_template_kwargs": {"enable_thinking": false} を送ります。サーバー起動時に --chat-template-kwargs '{"enable_thinking": false}' を指定する方法もあります。
同じ用途の既報モデル
当サイトが取り上げたテキスト生成のモデルを新しい順に並べています。用途は配布元がHugging Faceに付けたタスク(pipeline_tag)から機械的に分けたもので、最小のVRAM階層は当サイトの概算です。
- 「plamo-3-8b-fin-instruct」テキスト生成モデル:必要VRAM 4GB〜・GGUF版あり(8.5B・4GB)
- 「Qwen3.8-27B-DSpine-b16」投機的デコーディング用ドラフトモデル:必要VRAM 8GB〜(2.0B・8GB)
- 「Arete-27B」アライメント調整済みの27Bテキスト生成モデル:当サイトでの回答例・必要VRAM 12GB〜(27.4B・12GB)
- ByteDance-Seed/Cola2 Language Model: Continuous Compression…(8.8B・48GB)
次に読むなら
- GPUのVRAMから探す(このモデルは24GBの階層から動きます) → 24GBのGPUで動くほかのモデル
- このモデルを動かすエンジンを調べる → llama.cpp / Ollama
- 入手できる形式と、表に出てくる IQ4_XS・Q5_K・Q8_0 の意味を知る → GGUF形式の解説と対応モデル / 量子化・モデル形式の用語集
- 記事に出てくる IFEval・LongBench・RULER の読み方を知る → ベンチマーク用語集
出典
- https://huggingface.co/AtomicChat/Maxwell-V1-Flash-GGUF
- https://huggingface.co/maxwell-model/Maxwell-V1-Flash
- https://huggingface.co/datasets/AtomicChat/Maxwell-V1-Flash-GGUF-metrics
この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。
