「Edge0-35B-A3B-preview」スマホクラスで動く35BのMoEモデル：必要VRAM 24GB〜

2026年11月3日

「Edge0-35B-A3B-preview」スマホクラスで動く35BのMoEモデル：必要VRAM 24GB〜

基本情報

項目 内容
リポジトリ Edge0/Edge0-35B-A3B-preview
公開日 2026-09-08
ライセンス apache-2.0
配布形式 MLX / safetensors
論文 arXiv:2609.18063
出典の種類 公開元の一次情報(公式組織Edge0のHFリポジトリ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

当サイトで確かめたこと

  • Qwen3 のトークナイザより約21%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.26倍になり、生成も1字あたりで速くなります。

詳しい値と条件は、下の「当サイトでの実測」の節にあります。

概要

Edge0は、スマホクラスのメモリ環境で動作する35BクラスのスパースMoEモデル「Edge0-35B-A3B-preview」を公開しました。配信用のストリーミング推論フレームワーク「edge0」を利用し、4-bit量子化モデルとLoRA・prerouterアダプターを統合して動作させるプレビュー版となっています。

スペック

  • アーキテクチャ: Qwen3_5MoeForConditionalGeneration (Qwen3_5_MoE)
  • パラメータ数: 34.7B
  • 層数: 40
  • エキスパート数 / 1トークンあたりのアクティブ数: 256 / 4 (K=4)
  • 隠れ層サイズ: 2048
  • ライセンス: Apache 2.0
  • フレームワーク: edge0 (MLXバックエンド)

性能

公開元による測定では、fp16のベースモデルであるQwen3.5-MoE 35B-A3Bと比較して平均3.9ポイントの低下に抑えられています。各種ベンチマークのスコアは以下の通りです。

Benchmark edge0-35b (int4) Qwen3.5-MoE 35B-A3B (fp16)
AIME 2026 86.6 92.7
HumanEval 90.9 95.1
GPQA-Diamond 79.8 81.8
MMLU-Pro 81.0 84.6
IFBench 57.9 61.7
Average 79.2 83.2

実測されたパフォーマンスは以下の通りです。

Decode speed Prefill throughput (cold / warm) Peak active memory*
14.9–17.7 tok/s 113 / 140 tok/s 2.9 GiB

※短いコンテキストでの計測値。長文ではKVキャッシュが追加されます。エキスパートウェイトはSSDからオンデマンドでストリーミングされ常駐しません。

これらのスコアから、int4化による量子化ロスが少なく抑えられており、競技数学（AIME）やコーディング（HumanEval）、科学の難問（GPQA Diamond）、一般知識・推論（MMLU-Pro）の各分野においてベースモデルと近い水準の性能を維持していることがわかります。一方で、プレビュー版の制限としてエージェント系タスクへの最適化はまだ進んでいません。

得意なこと・想定用途

  • GPU VRAMが枯渇しつつも高速なストレージ（NVMeや内蔵フラッシュ）が利用可能なエッジ・オンデバイス推論
  • 単一のホストマシンでのバッチサービング（1つの読み取り専用ベースで複数のLoRAアダプターセットを再量子化なしで共有）
  • 付属のチャットテンプレートによる多言語チャットおよび推論（思考モード有効）

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 36.0B(元モデル Qwen/Qwen3.6-35B-A3B の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4090 / 3090 など 24GB MLX 4bit 18.2GB 21.8GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-03 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。

公開元の配布は MLX / safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。現時点で動かすなら transformers(PyTorch)・vLLM・MLX (Apple Silicon) で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: MLX 4bit は実測 4.35 bit/weight で、元の16bitの重みの約27%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込み・動かして確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。

日本語のトークン効率

トークナイザ 日本語1,000字あたりのトークン数 同じ内容の英文との比
このモデル 546 0.99倍
Qwen3 688 1.26倍
Llama 3.2 744 1.36倍
Gemma 3 564 1.03倍
gpt-oss 795 1.45倍
LLM-jp-3 497 0.85倍

Qwen3 のトークナイザより約21%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.26倍になり、生成も1字あたりで速くなります。

Edge0/Edge0-35B-A3B-preview の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b 32.1B 80GB apache-2.0 推論モデル「ELYZA-Thinking-1.0」の32B/33Bモデル公開(2026-10-02)
XingChen-AGI/Xing4.0-29B-A4B 31.2B 24GB apache-2.0 「Xing4.0-29B-A4B」テキスト生成モデル：当サイトでの回答例・必要VRAM 24GB〜(2026-09-28)
Altworld/Hemmingway-1 26.9B 12GB cc-by-nc-4.0 「Hemmingway-1」日常文章特化の言語モデル：必要VRAM 12GB〜・GGUF版あり(2026-09-28)
orcarouter/OrcaSAQ-2-27B 27.8B 16GB apache-2.0 「OrcaSAQ-2-27B」テキスト生成モデル：当サイトでの回答例・必要VRAM 16GB〜(2026-09-28)
prism-ml/Ternary-Bonsai-2-27B-gguf 27.8B 8GB apache-2.0 「Ternary-Bonsai-2-27B-gguf」テキスト生成モデル：当サイトでの回答例・必要VRAM 8GB〜(2026-09-18)

入手方法

pip install -e 'git+https://github.com/Edge0-AI/edge0.git#egg=edge0[fetch]'

# Download this repository into a local directory
huggingface-cli download Edge0/Edge0-35b-a3b-preview --local-dir./Edge0-35b-a3b-preview

# Run it
export EDGE0_35B_MODEL=$PWD/Edge0-35b-a3b-preview
edge0 chat --name edge0-35b --prompt "Introduce yourself"

# Or serve an OpenAI-compatible HTTP API
edge0 serve --name edge0-35b --port 8085

関連記事

次に読むなら

出典

更新履歴

  • 2026-09-24: 記事の組み立てを更新しました: 「手元で動かせるか」の判定(配布形式・変換版・推論エンジンの登録表・ライセンス・実測の圧縮率)を追加
  • 2026-09-25: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。
  • 2026-09-28: 当サイトでの実測(日本語のトークン効率)を追加しました。

新モデルEdge0,MLX,MoE,On-Device,Qwen3.5,確認済み