「LFM2.5-24B-A2B-DSpark」推測デコード用のドラフトモデル:必要VRAM 4GB〜・GGUF版あり

「LFM2.5-24B-A2B-DSpark」推測デコード用のドラフトモデル:必要VRAM 4GB〜・GGUF版あり

基本情報

項目 内容
リポジトリ LiquidAI/LFM2.5-24B-A2B-DSpark
まとめページ LFM2.5 のまとめ(記事11本)
公開元のまとめ Liquid AI のモデルとライセンスのまとめ
公開日 2026-10-20
ライセンス lfm1.0
配布形式 safetensors
出典の種類 公開元の一次情報(公式HFリポジトリとブログリンクあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Liquid AIから、推測デコード(Speculative Decoding)用のドラフトモデル「LFM2.5-24B-A2B-DSpark」が公開されました。本モデルは、ターゲットモデルである「LiquidAI/LFM2.5-24B-A2B」の生成速度を高速化するために設計されたドラフトモデルであり、ドラフト側が提案したトークンをターゲットモデルが検証することによって推論処理を効率化します。NVIDIA B300におけるSGLangでの測定では、並列度(Concurrency)1においてターゲット単体と比較して平均2.4倍(最大3.1倍)、並列度256において1.7倍の出力スループット向上を実現しています。

スペック

  • パラメータ数:ドラフトパラメータ 327.7M(BF16)
  • アーキテクチャ:フルアテンション層 5層、hidden_size=2048、intermediate_size=6144(SiLU/SwiGLU)、GQA(num_attention_heads=32 / num_key_value_heads=8、head_dim=64)
  • 追加ヘッド:Markov head(rank 256) + confidence head
  • ブロックサイズ:9
  • 語彙数:128,000

性能

本モデルは推測デコード用のドラフトモデルであり、検証時の浮動小数点演算の違いにより生成テキストが異なる場合があるため、以下の測定結果はタスク精度ではなく推論速度(スループット)の評価を示しています。

モデルカードに記載されている、各データセットにおけるターゲットモデル(FP8版)単体に対するDSpark使用時の出力スループット比較は以下の通りです。

→ 横にスクロールできます

Dataset Tokens / step Concurrency 1 Concurrency 32 Concurrency 256
MATH-500 5.61 2.63× 3.04× 1.79×
GSM8K 4.46 1.71× 2.56× 2.15×
HumanEval 4.61 2.23× 2.63× 1.64×
MBPP 6.70 3.08× 3.28× 1.64×
MT-Bench 5.77 2.66× 2.47× 1.81×
SimpleQA 5.22 2.48× 2.91× 1.95×
LiveCodeBench 4.02 1.87× 2.20× 1.34×
AIME 4.90 2.35× 2.45× 1.36×
Arithmetic mean 5.16 2.38× 2.69× 1.71×

公開元の測定によると、全評価データセットの算術平均(Arithmetic mean)で並列度1時に2.38倍、並列度32時に2.69倍、並列度256時に1.71倍のスループット向上が確認できます。特にMBPP(入門〜中級のPython課題を解く精度)では並列度32で3.28倍、並列度1で3.08倍と最も高い加速率を示しています。一方で、LiveCodeBench(出題時期を区切った競技プログラミングの新作問題による評価)では並列度256で1.34倍にとどまるなど、タスクの性質によって加速率に差が見られます。また、小学校レベルの算数問題を解くGSM8Kや、仕様どおりにPython関数を実装する精度を測るHumanEvalでも、1.6倍〜2.6倍程度の着実な速度向上が得られています。

なお、ターゲットモデル本体(LFM2.5-24B-A2B)のタスク精度については、元モデルの公開元ベンチマーク比較表にて以下のように報告されています。

→ 横にスクロールできます

Benchmark LFM2.5-24B-A2B Qwen3.6-35B-A3B Gemma-4-26B-A4B-it Nemotron-3.5-Lightning (30B-A3B)
AutomationBench 27.69 8.72 5.46 2.61
BFCLv4 65.01 65.00 57.09 53.78
ToolSandbox 80.71 75.02 72.09 75.13
LiveClaw 48.09 38.19 41.25 37.72
PinchBench 83.18 89.93 77.12 84.20
τ³-Bench Banking 8.04 7.63 4.54 7.01
WebArena Verified 26.75 37.62 25.62 28.69
GPQA Diamond 74.42 83.69 74.90 72.42
AA-Omniscience -24.90 -24.35 -59.39 -3.58
HLE 7.40 7.69 8.57 5.65
IFEval 96.75 93.06 92.00 94.19
IFBench 74.69 64.21 47.44 71.67
Multi-IF 84.38 81.53 82.19 82.34
MATH-500 96.04 96.73 95.66 96.40
SWE-Bench Verified (OpenCode) 51.00 66.20 25.80 53.40
SciCode 32.71 37.35 35.42 27.78

元モデルの測定結果において、LFM2.5-24B-A2Bは形式的な指示を守る精度を測るIFEval(96.75)で比較対象中トップの精度を示し、AutomationBench(27.69)やLiveClaw(48.09)といったタスクでも高いスコアを記録しています。一方で、博士課程レベルの難問を扱うGPQA Diamond(74.42)や実在リポジトリの課題修正能力を見るSWE-Bench Verified(51.00)では、Qwen3.6-35B-A3B(GPQA Diamond: 83.69、SWE-Bench: 66.20)などの他モデルに及びません。高校〜競技レベルの数学力を測るMATH-500では96.04を獲得しており、上位モデルと競合する水準となっています。

得意なこと・想定用途

LFM2.5-24B-A2B-DSparkは、ターゲットモデルである「LFM2.5-24B-A2B」の推論を劇的に高速化させるために設計されています。そのため、本モデルの得意分野や想定用途は、元モデルであるLFM2.5-24B-A2Bの特性をそのまま引き継ぐ形となります。

元モデルのLFM2.5-24B-A2Bは、オンデバイスで動作する高速かつプライベートなエージェントの構築を主目的として開発された24Bパラメータの推論モデルです。最大の特徴は、回答を生成する前に必ず「思考」プロセスを挟む「純粋な推論モデル」である点です。チャットテンプレートにおいて、アシスタントの回答の冒頭に自動的に <think> タグが挿入される仕組みとなっており、1トークンあたり2Bという少ない活性パラメータ数でありながら、論理的なステップを経てから最終的な回答を導き出します。

具体的な得意分野として、以下の点が挙げられます。

エージェント業務とツール使用

本モデルは、関数呼び出し(Function Calling)を伴うエージェントワークフローに特化して調整されています。JSON形式やPython形式でのツール実行指示に対応しており、定義、呼び出し、実行、最終回答という4つのステップを確実にこなす能力を備えています。公開元の評価では、Qwen3.6-35B-A3Bのような、より総パラメータ数や活性パラメータ数が多いモデルと比較しても、LiveClawなどのエージェント系タスクで競争力のあるスコアを記録しています。OpenClawやHermes Agentといった主要なエージェントフレームワークのシステムプロンプトや対話パターンを学習しているため、これらのツールとの親和性が非常に高いです。

長文読解と多言語対応

コンテキスト長は131,072トークンと非常に長く、大規模なドキュメントの読み込みや長時間の対話が可能です。また、日本語を含む16言語(英語、アラビア語、中国語、フランス語、ドイツ語、イタリア語、韓国語、ポルトガル語、スペイン語、ベトナム語、タイ語、インドネシア語、ヒンディー語、ロシア語、ポーランド語)に対応しています。特に非ラテン文字のトークナイズ効率を向上させるためのトークナイザー拡張が行われており、多言語環境での利用に適しています。

推論効率の最大化

MoE(Mixture-of-Experts)アーキテクチャを採用しており、64個のエキスパートのうち各トークンで4個を活性化させる構造(Top-4 routing)を持っています。これにより、高い推論能力を維持しつつ、オンデバイスでの高速なデコードを実現しています。DSparkドラフトモデルを併用することで、この推論効率をさらに高めることが可能です。

なお、モデルカードでは「知識集約型のタスク」をモデル単体で解かせることは推奨されていません。モデルの強みであるツール呼び出し能力を活かし、検索エンジンや外部データベース(RAG)と組み合わせて、必要な情報を外部から取得させる構成が最も推奨されています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 328M

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) F16 0.6GB 0.7GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 未登録、MLX (mlx-lm): 登録あり。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 ファイルサイズは変換版 LiquidAI/LFM2.5-24B-A2B-DSpark-GGUF の配布ファイルの実測値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
openbmb/MiniCPM-V-4.7-35B-A3B-DSpark-gguf 389M 4GB apache-2.0 「MiniCPM-V-4.7-35B-A3B-DSpark-gguf」高速化用ドラフトモデル:必要VRAM 4GB〜(2026-11-17)
openbmb/MiniCPM-V-4.7-1B-DSpark-gguf 214M 4GB apache-2.0 「MiniCPM-V-4.7-1B-DSpark-gguf」テキスト生成モデル:必要VRAM 4GB〜(2026-11-17)
IFM/Jais-3-0.9B-GGUF 1.1B 4GB apache-2.0 「Jais-3-0.9B-GGUF」バイリンガル対応のDenseモデル:必要VRAM 4GB〜(2026-11-17)
nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 4.0B 4GB openmdw-1.1 NVIDIA、ループ型LLM「Dory1.0-4B」を公開。最大256K対応(2026-11-17)
inclusionAI/Ling-3.0-tiny-UBTree 183M 4GB mit 「Ling-3.0-tiny-UBTree」投機的デコーディング用ドラフトモデル:必要VRAM 4GB〜(2026-11-17)

入手方法

本モデルはHugging Faceにて safetensors 形式で配布されています。利用にあたってのゲート(利用規約への同意)は設定されておらず、誰でもダウンロードが可能です。

推論エンジンとしては、LFM2-MoE DSparkをサポートした最新の SGLang が必要です。具体的には、GitHub上のPR #31041(LFM2-MoE DSparkサポート)および PR #43939(ネイティブHugging Face設定サポート)が反映されたビルドを使用してください。

以下は、SGLangを使用してターゲットモデル(ここではFP8量子化版を例としています)に本ドラフトモデルを適用してサーバーを起動するコマンドの例です。

python -m sglang.launch_server \
  --model-path LiquidAI/LFM2.5-24B-A2B-FP8 \
  --speculative-algorithm DSPARK \
  --speculative-draft-model-path LiquidAI/LFM2.5-24B-A2B-DSpark \
  --speculative-draft-attention-backend flashinfer \
  --speculative-dspark-block-size 9 \
  --speculative-num-draft-tokens 10 \
  --mem-fraction-static 0.8 --port 30000

サーバー起動後は、http://localhost:30000/v1 にてOpenAI互換のAPIエンドポイントとしてアクセスできます。推測デコードを使用しない場合と比較して、大幅なスループットの向上が期待できます。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-17 LiquidAI GGUF LiquidAI/LFM2.5-24B-A2B-DSpark-GGUF F16 0.7GB(4GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • LiquidAI/LFM2.5-24B-A2B-DSpark-GGUF の量子化: F16 0.6GB

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-17: 変換版を「派生版・量子化版」に追記しました: LiquidAI/LFM2.5-24B-A2B-DSpark-GGUF
  • 2026-11-17: 動作環境の表を LiquidAI/LFM2.5-24B-A2B-DSpark-GGUF の実ファイルサイズで更新しました。
  • 2026-11-17: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。