「Ling-3.1-flash」ハイブリッド推論MoEモデル:必要メモリ約641GB・GGUF版あり

「Ling-3.1-flash」ハイブリッド推論MoEモデル:必要メモリ約641GB・GGUF版あり

基本情報

項目 内容
リポジトリ inclusionAI/Ling-3.1-flash
まとめページ Ling-3.1 のまとめ(記事3本)
公開元のまとめ inclusionAI(Ant Group) のモデルとライセンスのまとめ
公開日 2026-10-13
ライセンス mit
配布形式 safetensors
出典の種類 公開元の一次情報(公式Hugging Faceリポジトリが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

inclusionAIが、ハイブリッド推論モデル「Ling-3.1-flash」を公開しました。前世代のLing-3.0-flashをベースに、アーキテクチャと実務タスクでの性能を改善したアップグレード版と位置づけられています。総パラメータ560B・活性パラメータ25BのMoEモデルで、1Mトークンという長いコンテキスト長に対応しており、エージェント型のタスクやソフトウェア開発、オフィス業務など実世界のタスクを意識した設計になっています。

スペック

モデルカードに記載されている構成は以下の通りです。

  • 総パラメータ数: 560B
  • 活性パラメータ数(トークンあたり): 25B
  • アーキテクチャ: Hybrid-linear MoE
  • コンテキスト長: 1Mトークン
  • Transformerレイヤー構成: KDA 63層 + Gated MLA 9層(比率7:1)
  • Denseレイヤー数: 4
  • Routed Experts(ルーティングされる専門家)数: 512
  • Shared Experts(共有専門家)数: 1
  • Activated Experts(1トークンあたり活性化される専門家)数: 8
  • Attention Heads: 64
  • Hidden Size: 4096
  • Expert Intermediate Size: 1280
  • Dense Intermediate Size: 10240
  • Vocabulary Size: 157184

性能

モデルカードには具体的なスコアを示す比較表は掲載されておらず、評価結果は文章での言及のみとなっています。公開元によれば、Ling-3.1-flashはTerminal-Bench 4.0、SWE-bench Pro、FrontierSWE、GDPVal-AA V2.1、Automationbench、MCP-Atlas、SkillsBenchなどのコーディング・エージェント系ベンチマークで強い性能を示すとされています。

benchmark_glossaryで内容が確認できるもののうち、Terminal-Benchは「ターミナル上で実際にコマンドを実行し、与えられた作業を最後までやり切れるか」をPass@1(%)で測る指標、SWE-benchは「実在のGitHub issueを、リポジトリを編集して修正できるか」をResolved(解決できた課題の割合、%)で測る指標です。いずれも高いほど良い指標で、公開元はこれらを含むベンチマーク群で「強く(strongly)」性能を発揮するとしていますが、具体的な数値は資料からは確認できません。

また、Claude Code、Kilo Code、Qwen Code、Hermes Agent、OpenClawといった実際のエージェント型フレームワーク上での利用で良好なユーザー体験が得られるとされ、コーディング・エージェント用途以外にもSTEM・医療・金融といった分野の実務タスクでも強い性能を示すと説明されています。さらに、長時間・数百回に及ぶツール呼び出しを伴う長期タスク向けに、オープンソースのコーディングエージェント「Pi」をベースにした独自ハーネス「LingCode」も紹介されていますが、これはモデル本体ではなく実行環境側の工夫であり、今後オープンソース化を検討中とされています。これらはいずれも公開元自身による評価・説明であり、第三者による検証結果ではない点に留意が必要です。

得意なこと・想定用途

Ling-3.1-flashは、実世界における複雑な作業を自律的にこなすエージェント用途を強く意識して設計されています。モデルカードでは、汎用エージェントをはじめ、検索、オフィス業務の生産性向上、ソフトウェアエンジニアリングなどが主な適用先として挙げられています。

具体的には、ターミナルを用いたツール実行やコマンド操作を伴うタスク、Claude CodeやOpenClawなどのエージェントフレームワークを通じた作業の自動化に向いています。さらに、STEM分野全般や医療、金融、材料科学といった高度な専門知識が求められるドメインでの性能向上も言及されています。1Mトークンに及ぶ広いコンテキストウィンドウを備えているため、長大なドキュメントの読み込みや、ツール呼び出しを多数繰り返す長時間のコーディングタスクなど、文脈の維持が不可欠なワークフローに適しています。

また、チャットテンプレートで思考プロセスを有効化するオプション(enable_thinking)が用意されており、推論を挟みながらステップを踏んで解く論理的タスクや問題解決での活用も想定されています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 572.1B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
641GB超のVRAMが必要(複数GPUまたはCPUオフロードが前提) FP8 534.4GB 641.3GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp で動かせます(変換版を利用)。

公開元の配布は safetensors ですが、bartowski/Ling-3.1-flash-GGUF が GGUF版を公開しているため、そちらを使えば手元で動きます。

ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。

量子化の圧縮率: FP8 は実測 8.02 bit/weight で、元の16bitの重みの約50%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 40B超 のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
inclusionAI/Ling-3.1-flash-1019 572.1B — mit 「Ling-3.1-flash-1019」テキスト生成モデル:必要メモリ約641GB・GGUF版あり(2026-11-17)
inclusionAI/Ling-3.1-flash-base 572.1B — mit inclusionAI、ハイブリッド線形MoE採用のLing-3.1-flash-base公開(2026-11-17)
inclusionAI/Ling-3.0-flash-Sante-fp8 127.5B — mit 「Ling-3.0-flash-Sante-fp8」医療分野に特化した大規模言語モデル:必要メモリ約144GB(2026-11-17)
deepseek-ai/DeepSeek-V4-Pro-0813 1650.5B — mit 「DeepSeek-V4-Pro-0813」エージェント能力を強化した大規模MoEモデル:必要メモリ約998GB(2026-09-26)
nvidia/DeepSeek-V4-Pro-0813-nvfp4-DSpark 1650.5B — mit 「DeepSeek-V4-Pro-0813-nvfp4-DSpark」テキスト生成モデル:必要メモリ約1005GB(2026-09-10)

入手方法

Ling-3.1-flashのウェイトはHugging Face上でFP8のsafetensors形式により公開されており、ライセンスはMITライセンスです。利用にあたってのゲート申請(利用規約への個別同意)は不要となっており、直接ダウンロードして利用できます。

実行エンジンとしては、推奨環境として案内されているSGLang、およびvLLMの2種類についてセットアップ手順が紹介されています。

SGLangでの実行(推奨)

Ling-3.1-flashのサポート、MTP(NEXTN)投機的デコーディング、およびHopper向けデコード最適化を含んだ公式Dockerイメージが提供されています。

イメージの取得:

docker pull lmsysorg/sglang:dev-ling-3.1-flash

サーバーの起動(例: 8台のH200環境でテンソル並列度8、エキスパート並列度8を指定する場合):

docker run --gpus all --network host --ipc=host --rm \
  lmsysorg/sglang:dev-ling-3.1-flash \
  python3 -m sglang.launch_server \
    --model-path inclusionAI/Ling-3.1-flash \
    --tp 8 --ep 8 \
    --speculative-algorithm NEXTN \
    --host 0.0.0.0 --port 30000

なお、GB300を4台用いる構成では --tp 4 --ep 4 を指定します。また、環境変数 SGLANG_ENABLE_FP8_BLOCK_GEMV=1 および SGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT=1 を付与することで、Hopper向け最適化によるデコード高速化を有効にできます。

クライアントからの推論リクエスト例:

curl -s http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Ling-3.1-flash",
       "messages": [{"role": "user", "content": "What is the capital of France?"}],
       "chat_template_kwargs": {"enable_thinking": true},
       "stream": true,
       "temperature": 1.0,
       "top_k": 20,
       "top_p": 0.95}'

vLLMでの実行

vLLMを使用する場合は、uvを用いた仮想環境の構築とvLLMリポジトリからのビルドが案内されています。

環境構築手順:

pip install uv

uv venv ~/my_ling_env

source ~/my_ling_env/bin/activate

git clone -b vllm https://github.com/vllm-project/vllm.git

cd vllm

VLLM_USE_PRECOMPILED=1 uv pip install --editable. --torch-backend=auto

サーバーの起動:

vllm serve "$MODEL_PATH" \
    --port "$PORT" \
    --trust-remote-code \
    --served-model-name auto \
    --tensor-parallel-size 8 \
    --gpu-memory-utilization 0.85 \
    --enable-prefix-caching \
    --enable-expert-parallel \
    --mamba-cache-mode align \
    --enable-auto-tool-choice \
    --tool-call-parser ling3 \
    --reasoning-parser ling3 \
    --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

クライアントからの推論リクエスト例:

curl -s http://${MASTER_IP}:${PORT}/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "auto", 
       "messages": [{"role": "user", "content": "What is the capital of France?"}],
       "chat_template_kwargs": {"enable_thinking": true},
       "stream": true,
       "temperature": 1.0, 
       "top_k": 20,
       "top_p": 0.95}'

サンプリングパラメータとしては temperature=1.0、top_p=0.95、top_k=20 の組み合わせが推奨されており、性能を十分に引き出すために enable_thinking を有効にすることが推奨されています。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-17 inclusionAI FP8 inclusionAI/Ling-3.1-flash-1019 FP8 641.3GB(単体のGPUには収まらない)
2026-11-17 bartowski GGUF(imatrix) bartowski/Ling-3.1-flash-GGUF IQ1_S 146.4GB(単体のGPUには収まらない)

各リポジトリの量子化とファイルサイズ:

  • inclusionAI/Ling-3.1-flash-1019 の量子化: FP8 534.4GB
  • bartowski/Ling-3.1-flash-GGUF の量子化: IQ1_S 122.0GB / IQ1_M 135.1GB / IQ2_XXS 159.1GB / IQ2_XS 165.2GB / IQ2_S 175.5GB / IQ2_M 198.4GB / Q2_K 204.1GB / IQ3_XXS 230.4GB / IQ3_XS 242.5GB / Q3_K_S 243.6GB / Q3_K_M 256.2GB / Q3_K_L 268.2GB / IQ3_M 276.9GB / IQ4_XS 295.3GB / Q4_0 304.2GB / Q4_K_S 313.5GB / Q4_K_M 333.4GB / IQ4_NL 333.4GB / Q4_1 335.4GB / Q5_K_S 378.2GB / Q5_K_M 406.4GB / Q6_K_S 445.9GB / Q6_K 467.1GB / Q8_0 566.6GB

このほか、上記以外の投稿者による変換版が 8 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-17: 変換版を「派生版・量子化版」に追記しました: inclusionAI/Ling-3.1-flash-1019, bartowski/Ling-3.1-flash-GGUF
  • 2026-11-17: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。