inclusionAI、ハイブリッド線形MoE採用のLing-3.1-flash-base公開

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | inclusionAI/Ling-3.1-flash-base |
| まとめページ | Ling-3.1 のまとめ(記事3本) |
| 公開元のまとめ | inclusionAI(Ant Group) のモデルとライセンスのまとめ |
| 公開日 | 2026-10-25 |
| ライセンス | mit |
| 配布形式 | safetensors |
| 出典の種類 | 公開元の一次情報(公式HFリポジトリからの一次情報) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
総パラメータ数560B、トークンあたりの活性パラメータ数25Bを備えたハイブリッド線形Mixture-of-Experts(MoE)アーキテクチャのモデルです。継続事前学習、領域適応、ファインチューニングなどの各種研究や開発の基盤モデルとして位置付けられています。
スペック
- アーキテクチャ: ハイブリッド線形MoE(63 KDA層 + 9 Gated MLA層)
- 総パラメータ数: 560B
- 1トークンあたりの活性パラメータ数: 25B
- ルーティングエキスパート数: 512(1トークンあたり8個活性)
- 共有エキスパート数: 1
- デンス層数: 4
- アテンションヘッド数: 64
- 隠れ層サイズ: 4096
- エキスパート中間サイズ: 1280
- デンス中間サイズ: 10240
- ボキャブラリーサイズ: 157184
性能
モデルカードによると、Ling-3.1-flash-baseの評価結果は以下の通りです。比較対象としてDeepSeek-V4-Pro-BaseおよびMiMo-V2.5-Pro-Baseの測定値が提示されています。
→ 横にスクロールできます
| Domain | Benchmark | Shot Config | Ling-3.1-flash-base / 560B A25B | DeepSeek-V4-Pro-Base / 1.6T A49B | MiMo-V2.5-Pro-Base / 1.02T A42B |
|---|---|---|---|---|---|
| Language Understanding | Race-High (EM) | 0-shot | 93.88 | 93.37 | 93.60 |
| Language Understanding | SquadV2 (Acc) | 1-shot | 92.79 | 87.70 | 88.93 |
| Language Understanding | Belebele (EM) | 0-shot | 94.67 | 93.83 | 92.72 |
| Language Understanding | C3 (EM) | 0-shot | 83.34 | 81.64 | 81.53 |
| Language Understanding | CCPM (EM) | 0-shot | 91.88 | 93.31 | 90.18 |
| Knowledge | ARC-c (EM) | 0-shot | 97.97 | 96.61 | 96.95 |
| Knowledge | AGIEval (Acc) | few-shot(0~5) | 82.59 | 81.26 | 79.90 |
| Knowledge | SimpleQA-Verified (Acc) | 5-shot | 52.40 | 52.10 | 32.60 |
| Knowledge | C-SimpleQA (Acc) | 5-shot | 77.43 | 77.60 | 70.93 |
| Knowledge | AA-Omniscience (Acc) | 3-shot | 37.67 | 48.16 | 36.45 |
| Knowledge | MMLU-Pro (EM) | 5-shot | 76.71 | 75.28 | 71.26 |
| Knowledge | CEval (EM) | 5-shot | 92.36 | 93.76 | 92.08 |
| Knowledge | CMMLU (EM) | 5-shot | 91.60 | 90.52 | 88.33 |
| Knowledge | GPQA-Diamond (EM) | 0-shot | 56.57 | 52.02 | 54.04 |
| Knowledge | SuperGPQA (EM) | 5-shot | 55.84 | 53.19 | 48.65 |
| Code | HumanEval-Plus (Pass@1) | 0-shot | 79.88 | 57.93 | 82.93 |
| Code | CruxEval (Pass@1) | 1-shot | 80.50 | 69.06 | 71.25 |
| Code | MultiPL-E (Pass@1) | 0-shot | 70.55 | 55.94 | 64.74 |
| Code | MBPP-Plus (Pass@1) | 3-shot | 76.19 | 73.81 | 77.51 |
| Code | BigCodeBench (Pass@1) | 0-shot | 53.60 | 51.49 | 66.75 |
| Code | LCBench 1 (Pass@1) | 3-shot | 68.48 | 59.14 | 67.58 |
| Code | LCBench-cn 1 (Pass@1) | 3-shot | 60.83 | 57.35 | 63.36 |
| Math | MATH500 (Acc) | 4-shot | 79.40 | 68.20 | 57.20 |
| Math | CollegeMath (Acc) | 4-shot | 73.41 | 63.15 | 66.61 |
| Math | FinanceReasoning (Acc) | 3-shot | 81.76 | 82.16 | 80.89 |
| Math | OlympiadBench (Acc) | 3-shot | 60.24 | 46.39 | 48.04 |
| Math | TheoremQA (Acc) | 5-shot | 63.56 | 61.92 | 60.27 |
| Math | OmniMath (Acc) | 3-shot | 65.31 | 34.89 | 40.13 |
| Reasoning | CommonSenseQA (EM) | 5-shot | 92.22 | 86.49 | 88.53 |
| Reasoning | BBH (EM) | 3-shot | 90.25 | 89.98 | 89.80 |
| Reasoning | KorBench (Acc) | 3-shot | 54.96 | 54.56 | 53.20 |
| Reasoning | AutoLogi (Acc) | 3-shot | 67.13 | 64.81 | 66.23 |
| Reasoning | ZebraLogic (Acc) | 1-shot | 30.80 | 20.30 | 28.90 |
| Multilingual | mARC (EM) | 0-shot | 92.98 | 89.10 | 88.55 |
| Multilingual | MMMLU (EM) | 0-shot | 77.56 | 68.81 | 67.15 |
| Multilingual | MultiGSM (Acc) | 4-shot | 87.66 | 85.87 | 86.33 |
| Multilingual | HumanEvalXL (Pass@1) | 0-shot | 83.25 | 70.31 | 87.34 |
| Med | DiagnosisArena (EM) | 0-shot | 62.20 | 55.50 | 52.70 |
| Med | medmcqa (EM) | 5-shot | 78.08 | 80.33 | 77.50 |
| Med | medqa (EM) | 5-shot | 87.82 | 87.75 | 85.55 |
| Long-context | LongBench (Acc) | 0-shot | 51.90 | 17.70 | 15.66 |
| Long-context | LEval (Acc) | 0-shot | 85.09 | 58.34 | 61.49 |
| Long-context | ruler_16k (Acc) | 1-shot | 96.90 | 97.00 | 90.61 |
| Long-context | ruler_32k (Acc) | 1-shot | 95.87 | 95.57 | 89.10 |
| Long-context | ruler_64k (Acc) | 1-shot | 93.81 | 95.56 | 87.19 |
| Long-context | ruler_128k (Acc) | 1-shot | 88.64 | 95.06 | 85.79 |
| Long-context | ruler_256k (Acc) | 1-shot | 86.64 | 94.37 | 86.00 |
公開元による測定表から見ると、Ling-3.1-flash-baseは長文脈(Long-context)理解や数学推論の領域で高い成績を示しています。長い文書の要約や理解を測るLongBenchでは51.90、LEvalでは85.09と、比較対象である大型モデルを大きく上回るスコアを記録しています。また、高校〜競技レベルの数学力を測るMATH500でも79.40を獲得しトップに立っています。一方で、AA-Omniscienceといった知識問答タスクや、実務的な複雑なコード処理力を測定するBigCodeBenchでは53.60にとどまり他モデルに及ばないなど、分野による強弱が表れています。
得意なこと・想定用途
Ling-3.1-flash-baseは、エンドユーザーとの直接的な対話を目的とした完成版モデルではなく、コミュニティや技術者による追加学習や研究開発を支援するために公開されたベースモデルです。モデルカードでは、以下のような領域での活用が推奨されています。
推奨される用途
- 継続事前学習およびミッドトレーニング: 独自のコーパスや追加データセットを投入したベースモデルの拡張・強化。
- 領域適応のための教師ありファインチューニング(SFT): 特定の業務領域や専門分野に特化させるためのファインチューニング。
- ポストトレーニング研究: 嗜好最適化(Preference optimization)や強化学習(Reinforcement learning)の実験基盤としての利用。
- 蒸留研究: 大規模な本モデルから小規模モデルへと知識を移転させる蒸留(Distillation)の研究。
- 長文脈およびMoEシステムの研究: 63層のKDAと9層のGated MLAを組み合わせたハイブリッド線形アテンション構造や、512個のルーティングエキスパートを持つスパースMoEアーキテクチャの制御に関する研究開発。
推奨されない用途
- 直接的なチャット運用の実施: アライメント調整や安全性の評価が行われていないため、エンドユーザー向けの会話サービスにそのまま投入すること。
- 安全性重視のアプリケーションへの適用: タスクに応じた安全性検証やアライメントを行わずに、高リスクな業務に利用すること。
- 検証なしでのプロダクション運用: タスク固有の評価やポストトレーニングを経ずに実用環境へ展開すること。
長文脈理解や数学的推論において高い性能を示す一方で、事前学習済みのベースチェックポイントであるため、対話能力や特定の出力形式を期待する場合は、目的に応じた適切なポストトレーニングを行う必要があります。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 572.1B
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| 1279GB超のVRAMが必要(複数GPUまたはCPUオフロードが前提) | F32 | 1065.7GB | 1278.8GB |
推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 表のファイルは F32(32bit)で配布されたものの実サイズです。BF16 や量子化など低い精度で読み込めば必要なメモリは小さくなるため、最低条件ではなく配布そのままの大きさとして読んでください。低い精度での値は当サイトでは測っていません。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。
公開元の配布は safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。現時点で動かすなら transformers(PyTorch)・vLLM で読み込む形になり、必要メモリは上の表のとおりです。
ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。
配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
同クラスの既報モデル
当サイトが最近取り上げた、パラメータ数 40B超 のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。
→ 横にスクロールできます
| モデル | パラメータ数 | 最小のVRAM階層 | ライセンス | 記事 |
|---|---|---|---|---|
| inclusionAI/Ling-3.1-flash | 572.1B | — | mit | 「Ling-3.1-flash」ハイブリッド推論MoEモデル:必要メモリ約641GB・GGUF版あり(2026-11-17) |
| inclusionAI/Ling-3.1-flash-1019 | 572.1B | — | mit | 「Ling-3.1-flash-1019」テキスト生成モデル:必要メモリ約641GB・GGUF版あり(2026-11-17) |
| inclusionAI/Ling-3.0-flash-Sante-fp8 | 127.5B | — | mit | 「Ling-3.0-flash-Sante-fp8」医療分野に特化した大規模言語モデル:必要メモリ約144GB(2026-11-17) |
| deepseek-ai/DeepSeek-V4-Pro-0813 | 1650.5B | — | mit | 「DeepSeek-V4-Pro-0813」エージェント能力を強化した大規模MoEモデル:必要メモリ約998GB(2026-09-26) |
| nvidia/DeepSeek-V4-Pro-0813-nvfp4-DSpark | 1650.5B | — | mit | 「DeepSeek-V4-Pro-0813-nvfp4-DSpark」テキスト生成モデル:必要メモリ約1005GB(2026-09-10) |
入手方法
Ling-3.1-flash-baseのモデル重みは、Hugging Faceのリポジトリ(inclusionAI/Ling-3.1-flash-base)にて公開されています。
本モデルは事前学習時にFP8精度が用いられましたが、公開されているチェックポイントはWarmup-Stable and Merge(WSM)によるチェックポイントマージを経て作成されたBF16精度の重みとなっています。ファイル形式はsafetensors形式で提供されています。
利用制限に関して、本リポジトリは利用同意を求めるゲート(gated: false)は設定されておらず、誰でも直接アクセスして取得することが可能です。また、ライセンスにはMITライセンスが適用されています。
ファインチューニングの具体的な実施例やコードについては、公式のling-cookbookが案内されています。
関連記事
- 「Ling-3.1-flash-1019」テキスト生成モデル:必要メモリ約641GB・GGUF版あり
- 「Ling-3.1-flash」ハイブリッド推論MoEモデル:必要メモリ約641GB・GGUF版あり
- 「Duo-1.0-distill-quant」FP8量子化Realizationモデル:必要VRAM 80GB〜
- Duo-1.2-causal-base: 全二重マルチモーダルワールドモデル
次に読むなら
- GPUのVRAMから探す(このモデルは80GBの階層にも収まりません。最小構成でも約1279GB) → 80GB超のモデルも並べたVRAM別の早見表
- 同じモデル系統を調べる → Ling-3.1 系統のまとめ(記事3本・変換版5件)
- このモデルを動かすエンジンを調べる → vLLM
- このモデルを入手できる形式を調べる → Safetensors形式の解説と対応モデル
- 公開元について調べる → inclusionAI(Ant Group) のモデル・ライセンス・記事のまとめ

