inclusionAI、ハイブリッド線形MoE採用のLing-3.1-flash-base公開

inclusionAI、ハイブリッド線形MoE採用のLing-3.1-flash-base公開

基本情報

項目 内容
リポジトリ inclusionAI/Ling-3.1-flash-base
まとめページ Ling-3.1 のまとめ(記事3本)
公開元のまとめ inclusionAI(Ant Group) のモデルとライセンスのまとめ
公開日 2026-10-25
ライセンス mit
配布形式 safetensors
出典の種類 公開元の一次情報(公式HFリポジトリからの一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

総パラメータ数560B、トークンあたりの活性パラメータ数25Bを備えたハイブリッド線形Mixture-of-Experts(MoE)アーキテクチャのモデルです。継続事前学習、領域適応、ファインチューニングなどの各種研究や開発の基盤モデルとして位置付けられています。

スペック

  • アーキテクチャ: ハイブリッド線形MoE(63 KDA層 + 9 Gated MLA層)
  • 総パラメータ数: 560B
  • 1トークンあたりの活性パラメータ数: 25B
  • ルーティングエキスパート数: 512(1トークンあたり8個活性)
  • 共有エキスパート数: 1
  • デンス層数: 4
  • アテンションヘッド数: 64
  • 隠れ層サイズ: 4096
  • エキスパート中間サイズ: 1280
  • デンス中間サイズ: 10240
  • ボキャブラリーサイズ: 157184

性能

モデルカードによると、Ling-3.1-flash-baseの評価結果は以下の通りです。比較対象としてDeepSeek-V4-Pro-BaseおよびMiMo-V2.5-Pro-Baseの測定値が提示されています。

→ 横にスクロールできます

Domain Benchmark Shot Config Ling-3.1-flash-base / 560B A25B DeepSeek-V4-Pro-Base / 1.6T A49B MiMo-V2.5-Pro-Base / 1.02T A42B
Language Understanding Race-High (EM) 0-shot 93.88 93.37 93.60
Language Understanding SquadV2 (Acc) 1-shot 92.79 87.70 88.93
Language Understanding Belebele (EM) 0-shot 94.67 93.83 92.72
Language Understanding C3 (EM) 0-shot 83.34 81.64 81.53
Language Understanding CCPM (EM) 0-shot 91.88 93.31 90.18
Knowledge ARC-c (EM) 0-shot 97.97 96.61 96.95
Knowledge AGIEval (Acc) few-shot(0~5) 82.59 81.26 79.90
Knowledge SimpleQA-Verified (Acc) 5-shot 52.40 52.10 32.60
Knowledge C-SimpleQA (Acc) 5-shot 77.43 77.60 70.93
Knowledge AA-Omniscience (Acc) 3-shot 37.67 48.16 36.45
Knowledge MMLU-Pro (EM) 5-shot 76.71 75.28 71.26
Knowledge CEval (EM) 5-shot 92.36 93.76 92.08
Knowledge CMMLU (EM) 5-shot 91.60 90.52 88.33
Knowledge GPQA-Diamond (EM) 0-shot 56.57 52.02 54.04
Knowledge SuperGPQA (EM) 5-shot 55.84 53.19 48.65
Code HumanEval-Plus (Pass@1) 0-shot 79.88 57.93 82.93
Code CruxEval (Pass@1) 1-shot 80.50 69.06 71.25
Code MultiPL-E (Pass@1) 0-shot 70.55 55.94 64.74
Code MBPP-Plus (Pass@1) 3-shot 76.19 73.81 77.51
Code BigCodeBench (Pass@1) 0-shot 53.60 51.49 66.75
Code LCBench 1 (Pass@1) 3-shot 68.48 59.14 67.58
Code LCBench-cn 1 (Pass@1) 3-shot 60.83 57.35 63.36
Math MATH500 (Acc) 4-shot 79.40 68.20 57.20
Math CollegeMath (Acc) 4-shot 73.41 63.15 66.61
Math FinanceReasoning (Acc) 3-shot 81.76 82.16 80.89
Math OlympiadBench (Acc) 3-shot 60.24 46.39 48.04
Math TheoremQA (Acc) 5-shot 63.56 61.92 60.27
Math OmniMath (Acc) 3-shot 65.31 34.89 40.13
Reasoning CommonSenseQA (EM) 5-shot 92.22 86.49 88.53
Reasoning BBH (EM) 3-shot 90.25 89.98 89.80
Reasoning KorBench (Acc) 3-shot 54.96 54.56 53.20
Reasoning AutoLogi (Acc) 3-shot 67.13 64.81 66.23
Reasoning ZebraLogic (Acc) 1-shot 30.80 20.30 28.90
Multilingual mARC (EM) 0-shot 92.98 89.10 88.55
Multilingual MMMLU (EM) 0-shot 77.56 68.81 67.15
Multilingual MultiGSM (Acc) 4-shot 87.66 85.87 86.33
Multilingual HumanEvalXL (Pass@1) 0-shot 83.25 70.31 87.34
Med DiagnosisArena (EM) 0-shot 62.20 55.50 52.70
Med medmcqa (EM) 5-shot 78.08 80.33 77.50
Med medqa (EM) 5-shot 87.82 87.75 85.55
Long-context LongBench (Acc) 0-shot 51.90 17.70 15.66
Long-context LEval (Acc) 0-shot 85.09 58.34 61.49
Long-context ruler_16k (Acc) 1-shot 96.90 97.00 90.61
Long-context ruler_32k (Acc) 1-shot 95.87 95.57 89.10
Long-context ruler_64k (Acc) 1-shot 93.81 95.56 87.19
Long-context ruler_128k (Acc) 1-shot 88.64 95.06 85.79
Long-context ruler_256k (Acc) 1-shot 86.64 94.37 86.00

公開元による測定表から見ると、Ling-3.1-flash-baseは長文脈(Long-context)理解や数学推論の領域で高い成績を示しています。長い文書の要約や理解を測るLongBenchでは51.90、LEvalでは85.09と、比較対象である大型モデルを大きく上回るスコアを記録しています。また、高校〜競技レベルの数学力を測るMATH500でも79.40を獲得しトップに立っています。一方で、AA-Omniscienceといった知識問答タスクや、実務的な複雑なコード処理力を測定するBigCodeBenchでは53.60にとどまり他モデルに及ばないなど、分野による強弱が表れています。

得意なこと・想定用途

Ling-3.1-flash-baseは、エンドユーザーとの直接的な対話を目的とした完成版モデルではなく、コミュニティや技術者による追加学習や研究開発を支援するために公開されたベースモデルです。モデルカードでは、以下のような領域での活用が推奨されています。

推奨される用途

  • 継続事前学習およびミッドトレーニング: 独自のコーパスや追加データセットを投入したベースモデルの拡張・強化。
  • 領域適応のための教師ありファインチューニング(SFT): 特定の業務領域や専門分野に特化させるためのファインチューニング。
  • ポストトレーニング研究: 嗜好最適化(Preference optimization)や強化学習(Reinforcement learning)の実験基盤としての利用。
  • 蒸留研究: 大規模な本モデルから小規模モデルへと知識を移転させる蒸留(Distillation)の研究。
  • 長文脈およびMoEシステムの研究: 63層のKDAと9層のGated MLAを組み合わせたハイブリッド線形アテンション構造や、512個のルーティングエキスパートを持つスパースMoEアーキテクチャの制御に関する研究開発。

推奨されない用途

  • 直接的なチャット運用の実施: アライメント調整や安全性の評価が行われていないため、エンドユーザー向けの会話サービスにそのまま投入すること。
  • 安全性重視のアプリケーションへの適用: タスクに応じた安全性検証やアライメントを行わずに、高リスクな業務に利用すること。
  • 検証なしでのプロダクション運用: タスク固有の評価やポストトレーニングを経ずに実用環境へ展開すること。

長文脈理解や数学的推論において高い性能を示す一方で、事前学習済みのベースチェックポイントであるため、対話能力や特定の出力形式を期待する場合は、目的に応じた適切なポストトレーニングを行う必要があります。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 572.1B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
1279GB超のVRAMが必要(複数GPUまたはCPUオフロードが前提) F32 1065.7GB 1278.8GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 表のファイルは F32(32bit)で配布されたものの実サイズです。BF16 や量子化など低い精度で読み込めば必要なメモリは小さくなるため、最低条件ではなく配布そのままの大きさとして読んでください。低い精度での値は当サイトでは測っていません。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。

公開元の配布は safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。現時点で動かすなら transformers(PyTorch)・vLLM で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 40B超 のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
inclusionAI/Ling-3.1-flash 572.1B — mit 「Ling-3.1-flash」ハイブリッド推論MoEモデル:必要メモリ約641GB・GGUF版あり(2026-11-17)
inclusionAI/Ling-3.1-flash-1019 572.1B — mit 「Ling-3.1-flash-1019」テキスト生成モデル:必要メモリ約641GB・GGUF版あり(2026-11-17)
inclusionAI/Ling-3.0-flash-Sante-fp8 127.5B — mit 「Ling-3.0-flash-Sante-fp8」医療分野に特化した大規模言語モデル:必要メモリ約144GB(2026-11-17)
deepseek-ai/DeepSeek-V4-Pro-0813 1650.5B — mit 「DeepSeek-V4-Pro-0813」エージェント能力を強化した大規模MoEモデル:必要メモリ約998GB(2026-09-26)
nvidia/DeepSeek-V4-Pro-0813-nvfp4-DSpark 1650.5B — mit 「DeepSeek-V4-Pro-0813-nvfp4-DSpark」テキスト生成モデル:必要メモリ約1005GB(2026-09-10)

入手方法

Ling-3.1-flash-baseのモデル重みは、Hugging Faceのリポジトリ(inclusionAI/Ling-3.1-flash-base)にて公開されています。

本モデルは事前学習時にFP8精度が用いられましたが、公開されているチェックポイントはWarmup-Stable and Merge(WSM)によるチェックポイントマージを経て作成されたBF16精度の重みとなっています。ファイル形式はsafetensors形式で提供されています。

利用制限に関して、本リポジトリは利用同意を求めるゲート(gated: false)は設定されておらず、誰でも直接アクセスして取得することが可能です。また、ライセンスにはMITライセンスが適用されています。

ファインチューニングの具体的な実施例やコードについては、公式のling-cookbookが案内されています。

関連記事

次に読むなら

出典