「Ling-3.0-flash-Sante-fp8」医療分野に特化した大規模言語モデル:必要メモリ約144GB

「Ling-3.0-flash-Sante-fp8」医療分野に特化した大規模言語モデル:必要メモリ約144GB

基本情報

項目 内容
リポジトリ inclusionAI/Ling-3.0-flash-Sante-fp8
公開元のまとめ inclusionAI(Ant Group) のモデルとライセンスのまとめ
公開日 2026-10-27
ライセンス mit
配布形式 safetensors
出典の種類 公開元の一次情報(HuggingFaceの公式モデルページが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

inclusionAIは、医療分野に特化した大規模言語モデル「Ling-3.0-flash-Sante」のFP8量子化版となる「Ling-3.0-flash-Sante-fp8」を公開しました。モデル名の「Sante」はフランス語で「健康」を意味する言葉に由来しており、ベースモデルである「Ling-3.0-flash」の持つ汎用的な機能を保持しながら、ヘルスケア領域の専門的な処理に対応するよう構築されています。 inclusionAI/Ling-3.0-flash-Sante-fp8

本モデルは、専門的な医療推論、ヘルスケア研究、ディープリサーチ、およびツールを活用した高度なワークフロー向けに設計されています。単なる医療的な質疑応答にとどまらず、長文ドキュメントの解析やマルチステップの研究、マルチエージェント連携などの幅広いタスクでの利用が想定されています。エキスパートの重みに対してブロックサイズ128×128のFP8 E4M3量子化を適用したことで、BF16版と同じモデル規模を維持したままモデル重みのメモリフットプリントを削減し、対応するハードウェアにおける推論効率を高めています。なお、本モデルには思考モード(Thinking mode)がデフォルトで有効化されています。

公開元は、本モデルが研究用モデルであり医療機器ではないこと、出力の利用には専門家による確認が必要であることを注意点として挙げています。

スペック

  • 総パラメータ数: 124B
  • 活性パラメータ数: トークンあたり5.1B
  • アーキテクチャ: ハイブリッドリニアMoE(Kimi Delta Attention (KDA)、gated MLA、sparse MoEレイヤーの組み合わせ / BailingMoeV3ForCausalLM)
  • コンテキスト長: 256Kトークン

性能

モデルカードでは、BF16精度の「Ling-3.0-flash-Sante」とFP8量子化版の「Ling-3.0-flash-Sante-fp8」における、専門的なヘルスケアおよび医療推論ベンチマークの比較結果が公表されています。公開元が実施した測定の比較表は以下の通りです。

Benchmark Ling-3.0-flash-Sante (BF16) Ling-3.0-flash-Sante-FP8
Average 73.9 73.9
Healthbench Professional 54.3 52.9
ReDisQA 89.7 90.6
MedXpertQA-Text 51.0 50.5
MedQA-USMLE 94.2 94.5
MedMCQA 80.3 81.1

公開元の測定結果によれば、全ベンチマークの全体平均スコア(Average)は73.9となり、BF16版とFP8版で全く同じ数値を維持しています。個別項目で比較すると、ReDisQA(90.6)、MedQA-USMLE(94.5)、MedMCQA(81.1)の3項目ではFP8版がBF16版をわずかに上回るスコアを記録しました。その一方で、Healthbench Professional(52.9)およびMedXpertQA-Text(50.5)の2項目においては、BF16版のスコアを下回る結果となっています。

以上の比較から、量子化に伴う微小な数値の変化は見られるものの、全体としては高い精度を保持しており、量子化による総合的な性能低下は非常に軽微であると言えます。なお、この測定は公開元によって実施されたものであり、最高ティアの思考設定(reasoning effort)および指定されたデコードパラメーター(temperature=1.0、top_p=0.95)を使用して評価されています。

得意なこと・想定用途

Ling-3.0-flash-Sante-fp8は、医療分野やヘルスケア領域の専門的な処理を得意とするモデルです。具体的な用途として、医療・ヘルスケアに関する質疑応答、文献検索、エビデンスの統合、科学的なディープリサーチ、長文ドキュメントの解析、構造化された情報の抽出、および医療知識ベースとRAG(検索拡張生成)アプリケーションへの組み込みが想定されています。

また、ツールを活用した研究、マルチエージェントによるヘルスケアワークフロー、ドメイン特化型AIエージェントの開発と評価にも対応しています。256Kトークンの長いコンテキスト長をサポートしているため、長文の医療関連資料の読み込みやマルチステップの複雑な研究タスクにも適しています。思考モード(Thinking mode)やツール呼び出し機能はデフォルトで有効になっており、対応するサービングフレームワークを通じて利用できます。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 127.5B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
144GB超のVRAMが必要(複数GPUまたはCPUオフロードが前提) FP8 119.6GB 143.5GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。

公開元の配布は safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。現時点で動かすなら transformers(PyTorch)・vLLM で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。

量子化の圧縮率: FP8 は実測 8.06 bit/weight で、元の16bitの重みの約50%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 40B超 のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
inclusionAI/Ling-3.1-flash 572.1B — mit 「Ling-3.1-flash」ハイブリッド推論MoEモデル:必要メモリ約641GB・GGUF版あり(2026-11-17)
inclusionAI/Ling-3.1-flash-1019 572.1B — mit 「Ling-3.1-flash-1019」テキスト生成モデル:必要メモリ約641GB・GGUF版あり(2026-11-17)
inclusionAI/Ling-3.1-flash-base 572.1B — mit inclusionAI、ハイブリッド線形MoE採用のLing-3.1-flash-base公開(2026-11-17)
deepseek-ai/DeepSeek-V4-Pro-0813 1650.5B — mit 「DeepSeek-V4-Pro-0813」エージェント能力を強化した大規模MoEモデル:必要メモリ約998GB(2026-09-26)
nvidia/DeepSeek-V4-Pro-0813-nvfp4-DSpark 1650.5B — mit 「DeepSeek-V4-Pro-0813-nvfp4-DSpark」テキスト生成モデル:必要メモリ約1005GB(2026-09-10)

入手方法

  • 配布形式: safetensors
  • ライセンス: MIT
  • 入手方法および対応エンジン: SGLangやvLLMなどの対応する推論エンジンを使用して利用できます。SGLangの場合は専用のDockerイメージ(lmsysorg/sglang:dev-Ling-3.0-flash)が用意されており、vLLMの場合はLing-3.0のサポートを含むビルドを利用します。

モデルの重みはHugging Faceから取得可能であり、公式のリポジトリIDは inclusionAI/Ling-3.0-flash-Sante-fp8 です。なお、本モデルはゲート付きモデルではありません。

関連記事

次に読むなら

出典