「LFM2.5-24B-A2B-DSpark-GGUF」投機的デコーディング用のドラフトモデル:必要VRAM 4GB〜

「LFM2.5-24B-A2B-DSpark-GGUF」投機的デコーディング用のドラフトモデル:必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ LiquidAI/LFM2.5-24B-A2B-DSpark-GGUF
まとめページ LFM2.5 のまとめ(記事11本)
公開元のまとめ Liquid AI のモデルとライセンスのまとめ
公開日 2026-10-21
ライセンス lfm1.0
配布形式 GGUF
出典の種類 公開元の一次情報(公式HFリポジトリのGGUF版)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

LiquidAIは、推論加速技術「DSpark」を適用したモデル「LFM2.5-24B-A2B-DSpark」のllama.cpp用GGUF版を公開しました。本モデルは、ターゲットとなる大規模モデル「LFM2.5-24B-A2B」と組み合わせて使用する「ドラフトモデル(下書きモデル)」であり、投機的サンプリング(Speculative Decoding)によって推論速度を大幅に向上させることを目的としています。

公開元のブログによれば、DSparkはターゲットモデルが検証するためのトークンを事前に提案することで、生成の効率化を図る仕組みです。本リポジトリで提供されるファイルは、スタンドアロンの「ドラフト・サイドカー」として機能します。これは5つのアテンション層やマルコフヘッドなどで構成される軽量なモデルであり、実行時にターゲットモデルとトークン埋め込みおよびLMヘッドを共有して動作するため、必ず「LFM2.5-24B-A2B-GGUF」とペアで読み込む必要があります。

スペック

元モデル(LFM2.5-24B-A2B-DSpark)の資料に基づいたスペックは以下の通りです。

  • ドラフトパラメータ数:327.7M (BF16)
  • アーキテクチャ:Lfm2DSparkDraftModel
  • バックボーン詳細:5 full attention layers, hidden_size=2048, intermediate_size=6144 (SiLU/SwiGLU), GQA (num_attention_heads=32 / num_key_value_heads=8), head_dim=64
  • 追加ヘッド:Markov head (rank 256) + confidence head
  • ブロックサイズ:9
  • ボキャブラリーサイズ:128,000

性能

本モデルの性能について、公開元はSGLang(FP8精度)を用いてNVIDIA B300上で測定したスループットの向上率を報告しています。以下の表は、ターゲットモデル単体での推論と比較して、DSpark(本ドラフトモデル)を適用した場合にどれだけ生成速度が向上したかを示しています。なお、これらは元モデルにおける測定値であり、量子化されたGGUF版では環境により変動する可能性があります。

→ 横にスクロールできます

Dataset Tokens / step Concurrency 1 Concurrency 32 Concurrency 256
MATH-500 5.61 2.63× 3.04× 1.79×
GSM8K 4.46 1.71× 2.56× 2.15×
HumanEval 4.61 2.23× 2.63× 1.64×
MBPP 6.70 3.08× 3.28× 1.64×
MT-Bench 5.77 2.66× 2.47× 1.81×
SimpleQA 5.22 2.48× 2.91× 1.95×
LiveCodeBench 4.02 1.87× 2.20× 1.34×
AIME 4.90 2.35× 2.45× 1.36×
Arithmetic mean 5.16 2.38× 2.69× 1.71×

この表から、DSparkの導入により、全ての評価項目においてスループットが大幅に向上していることが分かります。特に、Pythonのコーディング課題を解く能力を測るMBPPでは、同時実行数(Concurrency)32において3.28倍という顕著な加速を実現しています。また、高校から競技レベルの数学問題を扱うMATH-500でも、同時実行数32で3.04倍の高速化が達成されています。

一方で、小学校レベルの算数文章題を扱うGSM8Kや、新作の競技プログラミング問題を扱うLiveCodeBenchでは、同時実行数1における加速率が2倍を下回っており、タスクの性質によって加速の度合いに差があることが示されています。全体平均(Arithmetic mean)では、同時実行数1で2.38倍、同時実行数32で2.69倍の高速化が報告されており、多くの一般的な用途で2倍以上の速度向上が期待できます。

公開元は、投機的サンプリングの特性上、バッチ処理による検証と通常のデコードでは浮動小数点の計算誤差が生じるため、出力されるテキストが(たとえGreedyサンプリングであっても)ターゲットモデル単体時とは異なる可能性があることを注記しています。このため、本ベンチマークはタスクの正解率ではなく、あくまで推論パフォーマンスの向上を評価したものであるとしています。また、GGUF版での実際の加速性能は、使用するハードウェアやターゲットモデルの量子化ビット数に依存します。

得意なこと・想定用途

本モデルの主な用途は、24Bパラメータを持つ大規模モデル「LFM2.5-24B-A2B」の推論プロセスを劇的に高速化することにあります。投機的デコーディング(Speculative Decoding)専用のドラフトモデルとして設計されており、メインモデルが本来行うべき重い計算の一部を軽量な「サイドカー」モデルが肩代わりしてトークンの「下書き」を作成し、それをメインモデルが検証するというプロセスを実現します。この仕組みにより、メインモデルの知能を一切損なうことなく、生成速度のみを向上させることができます。

この特性から、リアルタイム性が強く求められるチャットボットや対話型AI(conversational)、および長文のテキスト生成(text-generation)において、その真価を発揮します。タグ情報が示す通り、MoE(Mixture of Experts)構造を持つLFM2シリーズの特性を活かしつつ、計算リソースを最適化してスループットを稼ぐことが可能です。特に、ローカルサーバーや高性能なワークステーションで24Bクラスのモデルを運用する場合、単一モデルでの推論ではトークン生成速度がボトルネックになることがありますが、本モデルを併用することで、そのストレスを大幅に軽減できます。

具体的には、コーディング支援や数学的な推論など、ステップバイステップでの思考が必要なタスクにおいても、高速なフィードバックを得ることが想定されています。本モデルは、ターゲットモデルとトークン埋め込み層(Token embeddings)および出力層(LM head)を共有する特殊な設計となっており、メモリ消費を抑えつつ効率的に動作する点も、リソースが限られたローカル環境での運用に適しています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 328M(元モデル LiquidAI/LFM2.5-24B-A2B-DSpark の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) F16 0.6GB 0.7GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス lfm1.0(条件付きで商用利用可): LiquidAI の LFM Open License v1.0 です。商用利用は可能ですが、年間売上が1,000万ドル以上の法人による商用利用は許諾の対象外です(第5条)。再配布時はライセンス文と変更点の告知が必要です。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
openbmb/MiniCPM-V-4.7-35B-A3B-DSpark-gguf 389M 4GB apache-2.0 「MiniCPM-V-4.7-35B-A3B-DSpark-gguf」高速化用ドラフトモデル:必要VRAM 4GB〜(2026-11-17)
openbmb/MiniCPM-V-4.7-1B-DSpark-gguf 214M 4GB apache-2.0 「MiniCPM-V-4.7-1B-DSpark-gguf」テキスト生成モデル:必要VRAM 4GB〜(2026-11-17)
IFM/Jais-3-0.9B-GGUF 1.1B 4GB apache-2.0 「Jais-3-0.9B-GGUF」バイリンガル対応のDenseモデル:必要VRAM 4GB〜(2026-11-17)
nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 4.0B 4GB openmdw-1.1 NVIDIA、ループ型LLM「Dory1.0-4B」を公開。最大256K対応(2026-11-17)
inclusionAI/Ling-3.0-tiny-UBTree 183M 4GB mit 「Ling-3.0-tiny-UBTree」投機的デコーディング用ドラフトモデル:必要VRAM 4GB〜(2026-11-17)

入手方法

本モデルはGGUF形式で公開されており、Hugging Faceのリポジトリ「LiquidAI/LFM2.5-24B-A2B-DSpark-GGUF」から入手可能です。配布されているファイルは、現時点で LFM2.5-24B-A2B-DSpark-F16.gguf (F16精度)が確認されています。

利用にあたっては、llama.cppの最新ビルドが必要です。本モデルは単体で動作するものではなく、必ずターゲットとなる「LFM2.5-24B-A2B-GGUF」とセットで使用してください。ターゲットモデル側の量子化ビット数(Q4_K_MやQ8_0など)は任意に選択可能ですが、その選択によって生成速度や品質、およびドラフトモデルによるトークンの受理率が変動します。

llama.cppのサーバー機能を用いて動作させる際の具体的なコマンド例は以下の通りです。

llama-server -hf LiquidAI/LFM2.5-24B-A2B-GGUF:F16 \
  -hfd LiquidAI/LFM2.5-24B-A2B-DSpark-GGUF:F16 \
  --spec-type draft-dspark --spec-draft-n-max 9 --spec-draft-n-min 0 \
  -ngl 99 -ngld 99 -fa on

この設定では、--spec-type draft-dspark を指定することでDSparkアルゴリズムを有効にし、--spec-draft-n-max 9 によって最大9トークンまでの投機的提案を許可しています。また、-ngl および -ngld オプションにより、ターゲットとドラフトの両モデルのレイヤーをGPUにオフロードして高速化を図っています。

なお、LFM2.5-DSparkファミリーには、本モデル(24B用)の他にも「LFM2.5-1.2B-Instruct-DSpark-GGUF」や「LFM2.5-8B-A1B-DSpark-GGUF」など、異なるサイズのモデルに向けたドラフトモデルが用意されています。自身の機材や用途に合わせて、適切なターゲットモデルとペアリングして使用してください。

ライセンスは「lfm1.0」が適用されています。Hugging Face上でのゲート(利用規約への同意が必要な設定)は有効になっていないため、リポジトリから直接ダウンロードして試用を開始できます。

関連記事

次に読むなら

出典