「Ling-3.1-flash-1019」テキスト生成モデル:必要メモリ約641GB・GGUF版あり

「Ling-3.1-flash-1019」テキスト生成モデル:必要メモリ約641GB・GGUF版あり

基本情報

項目 内容
リポジトリ inclusionAI/Ling-3.1-flash-1019
まとめページ Ling-3.1 のまとめ(記事3本)
公開元のまとめ inclusionAI(Ant Group) のモデルとライセンスのまとめ
公開日 2026-10-27
ライセンス mit
配布形式 safetensors
出典の種類 公開元の一次情報(公式HFリポジトリからの一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

inclusionAIが、言語モデル「Ling-3.1-flash-1019」を公開しました。本モデルは既存モデルであるLing-3.1-flashのアップグレード版であり、総パラメータ数560B、トークンあたりのアクティブパラメータ数25BのハイブリッドLinear MoE構成を備え、1Mトークンの超長文コンテキストウィンドウに対応しています。

モデルカードによると、本モデルはさらなる事後学習(post-training)の最適化が施されており、推論能力や現実世界でのエージェント機能が大幅に向上しています。多段階のタスク実行やエージェントワークフローにおいて高いパフォーマンスを発揮するように設計されています。

スペック

  • アーキテクチャ: Hybrid-linear MoE(BailingMoeV3ForCausalLM)
  • 総パラメータ数: 560B
  • アクティブパラメータ数: 25B
  • コンテキスト長: 1Mトークン
  • Transformer層構造: 63 KDA + 9 Gated MLA (7:1)
  • デンス層数: 4
  • ルーティングエキスパート数: 512
  • 共有エキスパート数: 1
  • 活性エキスパート数: 8
  • アテンションヘッド数: 64
  • 隠れ層サイズ: 4096
  • エキスパート中間サイズ: 1280
  • デンス中間サイズ: 10240
  • 語彙数: 157184

性能

モデルカードで示された測定結果によると、Ling-3.1-flash-1019は前身モデルであるLing-3.1-flashと比較して、推論力およびエージェントタスク評価の双方で顕著なスコア向上が確認されています。

公開元が公表している前身モデルとの比較結果は以下の通りです。

評価指標・ベンチマーク 前身モデル (Ling-3.1-flash) Ling-3.1-flash-1019
Artificial Analysis Intelligence Index v4.3.2 41 44
AA-Briefcase (Elo) 約1400 1524
AutomationBench-AA 62% 68%
CritPt 18% 26%
SciCode 54% 57%

モデルカードの記述および上記の測定スコアから、以下の傾向が読み取れます。

まず、総合的な知能指標である「Artificial Analysis Intelligence Index v4.3.2」ではスコアが41から44へと向上しています。また、AA-BriefcaseのEloスコアが約1400から1524へと引き上げられたほか、AutomationBench-AAにおいても62%から68%へ伸長しており、自律的なワークフローや複雑なタスクの自動化処理における性能が大きく高まっていることが窺えます。

さらに、科学技術分野のベンチマークであるCritPt(18%から26%へ拡大)やSciCode(54%から57%へ拡大)でも改善が見られます。これにより、高度な推論や専門的な計算・コード処理を伴うタスクにおいても、前身モデルに比べて優れた実行力を備えていると言えます。

なお、これらのスコアは第三者機関による独立検証ではなく、公開元であるinclusionAI自身が測定しモデルカード上で公表している数値です。

得意なこと・想定用途

Ling-3.1-flash-1019は、事後学習の最適化によって推論性能や現実世界におけるエージェント実行能力を高めたモデルです。主に以下のような用途やシナリオに適しています。

  • エージェントワークフローと多段階タスク実行: 複雑な手続きを伴うタスクの自律処理や多段階の実行プロセスにおいて力を発揮します。AutomationBench-AAやAA-Briefcaseなどの評価で見られる性能向上は、自律型エージェントとしての実用性の高さを示しています。
  • 超長文の処理とコンテキスト活用: 1Mトークンに及ぶ広大なコンテキストウィンドウを備えているため、長大なドキュメント群の分析、大規模リポジトリの解析、長期にわたるセッション履歴を保持した対話などに適しています。
  • ツール呼び出しと構造化された推論: 外部ツールを呼び出す機能(ツールコーリング)や、モデル内で明示的な思考プロセスを展開する機能(シンキング機能)に対応しています。推論サーバー起動時のパーサー設定により、高度な問題解決ワークフローに組み込むことが可能です。
  • 科学計算や技術的コード生成: CritPtやSciCodeといったベンチマークスコアの向上から、科学技術分野の問題解決や専門的なコーディングタスクにおいても有用性を期待できます。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 572.1B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
641GB超のVRAMが必要(複数GPUまたはCPUオフロードが前提) FP8 534.4GB 641.3GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp で動かせます(変換版を利用)。

公開元の配布は safetensors ですが、bartowski/Ling-3.1-flash-1019-GGUF が GGUF版を公開しているため、そちらを使えば手元で動きます。

ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。

量子化の圧縮率: FP8 は実測 8.02 bit/weight で、元の16bitの重みの約50%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 40B超 のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
inclusionAI/Ling-3.1-flash 572.1B — mit 「Ling-3.1-flash」ハイブリッド推論MoEモデル:必要メモリ約641GB・GGUF版あり(2026-11-17)
inclusionAI/Ling-3.1-flash-base 572.1B — mit inclusionAI、ハイブリッド線形MoE採用のLing-3.1-flash-base公開(2026-11-17)
inclusionAI/Ling-3.0-flash-Sante-fp8 127.5B — mit 「Ling-3.0-flash-Sante-fp8」医療分野に特化した大規模言語モデル:必要メモリ約144GB(2026-11-17)
deepseek-ai/DeepSeek-V4-Pro-0813 1650.5B — mit 「DeepSeek-V4-Pro-0813」エージェント能力を強化した大規模MoEモデル:必要メモリ約998GB(2026-09-26)
nvidia/DeepSeek-V4-Pro-0813-nvfp4-DSpark 1650.5B — mit 「DeepSeek-V4-Pro-0813-nvfp4-DSpark」テキスト生成モデル:必要メモリ約1005GB(2026-09-10)

入手方法

モデルの重みはHugging Faceにてsafetensors(FP8)形式で公開されています。ライセンスにはMITライセンスが適用されており、ゲート付きモデルではないため、Hugging Face上での特別な承認申請を行わずに利用可能です。

推論環境としては、公式にSGLangおよびvLLMを用いた起動方法が案内されています。MoEアーキテクチャや長文コンテキストを活用するため、Tensor Parallelism(TP)やExpert Parallelism(EP)を併用したマルチGPU構成での稼働が想定されています。

SGLangでの実行

公式のDockerイメージが提供されており、投機的デコーディング(NEXTN)やHopper向け最適化を含む環境をすぐに利用できます。

Dockerイメージの取得:

docker pull lmsysorg/sglang:dev-ling-3.1-flash

8基のGPU(H200など)を用いた推論サーバーの起動例:

docker run --gpus all --network host --ipc=host --rm \
  lmsysorg/sglang:dev-ling-3.1-flash \
  python3 -m sglang.launch_server \
    --model-path inclusionAI/Ling-3.1-flash-1019 \
    --tp 8 --ep 8 \
    --speculative-algorithm NEXTN \
    --host 0.0.0.0 --port 30000

なお、4基のGB300環境では --tp 4 --ep 4 を指定します。また、Hopperアーキテクチャ向けのデコード最適化を有効にする場合は、環境変数 SGLANG_ENABLE_FP8_BLOCK_GEMV=1 および SGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT=1 を設定します。

起動したサーバーに対しては、curlコマンドなどからOpenAI互換API形式でリクエストを送信できます。思考機能を有効化する場合は、chat_template_kwargs 内で enable_thinking: true を指定します。

curl -s http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Ling-3.1-flash-1019",
       "messages": [{"role": "user", "content": "What is the capital of France?"}],
       "chat_template_kwargs": {"enable_thinking": true},
       "stream": true,
       "temperature": 1.0,
       "top_k": 20,
       "top_p": 0.95}'

vLLMでの実行

vLLMを使用する場合は、uv等を用いて環境を構築した上で起動します。

推論サーバーの起動例:

vllm serve "$MODEL_PATH" \
    --port "$PORT" \
    --trust-remote-code \
    --served-model-name auto \
    --tensor-parallel-size 8 \
    --gpu-memory-utilization 0.85 \
    --enable-prefix-caching \
    --enable-expert-parallel \
    --mamba-cache-mode align \
    --enable-auto-tool-choice \
    --tool-call-parser ling3 \
    --reasoning-parser ling3 \
    --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

クライアントからのアクセス例:

curl -s http://${MASTER_IP}:${PORT}/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "auto", 
       "messages": [{"role": "user", "content": "What is the capital of France?"}],
       "chat_template_kwargs": {"enable_thinking": true},
       "stream": true,
       "temperature": 1.0, 
       "top_k": 20,
       "top_p": 0.95}'

公式案内では、サンプリングパラメータとして temperature=1.0、top_p=0.95、top_k=20 の設定と、思考機能(enable_thinking: true)の有効化が推奨されています。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-17 bartowski GGUF(imatrix) bartowski/Ling-3.1-flash-1019-GGUF IQ1_S 146.4GB(単体のGPUには収まらない)
2026-11-17 mlx-community MLX(imatrix) mlx-community/Ling-3.1-flash-1019-oQ4e-mtp MLX 4bit 368.9GB(単体のGPUには収まらない)
2026-11-17 mlx-community MLX(imatrix) mlx-community/Ling-3.1-flash-1019-oQ2e-mtp MLX 2bit 215.9GB(単体のGPUには収まらない)

各リポジトリの量子化とファイルサイズ:

  • bartowski/Ling-3.1-flash-1019-GGUF の量子化: IQ1_S 122.0GB / IQ1_M 135.1GB / IQ2_XXS 159.1GB / IQ2_XS 165.2GB / IQ2_S 175.5GB / IQ2_M 198.4GB / Q2_K 204.1GB / IQ3_XXS 230.4GB / IQ3_XS 242.5GB / Q3_K_S 243.6GB / Q3_K_M 256.2GB / Q3_K_L 268.2GB / IQ3_M 276.9GB / IQ4_XS 295.3GB / Q4_0 304.2GB / Q4_K_S 313.5GB / Q4_K_M 333.4GB / IQ4_NL 333.4GB / Q4_1 335.4GB / Q5_K_S 378.2GB / Q5_K_M 406.4GB / Q6_K_S 445.9GB / Q6_K 467.1GB / Q8_0 566.6GB
  • mlx-community/Ling-3.1-flash-1019-oQ4e-mtp の量子化: MLX 4bit 307.4GB
  • mlx-community/Ling-3.1-flash-1019-oQ2e-mtp の量子化: MLX 2bit 179.9GB

このほか、上記以外の投稿者による変換版が 8 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-17: 変換版を「派生版・量子化版」に追記しました: bartowski/Ling-3.1-flash-1019-GGUF, mlx-community/Ling-3.1-flash-1019-oQ4e-mtp, mlx-community/Ling-3.1-flash-1019-oQ2e-mtp
  • 2026-11-17: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。