「LFM2.5-24B-A2B-MLX-bf16」Apple Silicon向け推論モデル:必要VRAM 80GB〜

「LFM2.5-24B-A2B-MLX-bf16」Apple Silicon向け推論モデル:必要VRAM 80GB〜

基本情報

項目 内容
リポジトリ LiquidAI/LFM2.5-24B-A2B-MLX-bf16
まとめページ LFM2.5 のまとめ(記事11本)
公開元のまとめ Liquid AI のモデルとライセンスのまとめ
公開日 2026-10-13
ライセンス lfm1.0
配布形式 MLX / safetensors
論文 arXiv:2511.23404
出典の種類 公開元の一次情報(公式組織LiquidAIのHFリポジトリで一次情報確認)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

LiquidAIが、推論モデル「LFM2.5-24B-A2B」のMLX向けbfloat16(bf16)エクスポート版を公開しました。Apple Silicon上での実行を想定したもので、mlx-lm 0.32.0を用いて元のチェックポイント(リビジョン 6b45d2eb)から変換されています。重みはbf16のままで量子化は行われておらず、MoEのルーター部分(feed_forward.gate)はfloat32で保持されているのが特徴です。

ベースとなるLFM2.5-24B-A2Bは、関連論文「LFM2 Technical Report」(arxiv:2511.23404)が示す、エッジ向けのレイテンシ・メモリ制約下でハードウェア・イン・ザ・ループのアーキテクチャ探索を行い、ゲート付き短縮畜(short convolution)とごく少数のGQAブロックを組み合わせたハイブリッド構成を志向するLiquid AIの設計思想を引き継いだモデルとされています。

スペック

  • 総パラメータ数: 24.0B
  • 活性パラメータ数: 2.45B(トークンあたり)
  • アーキテクチャ: MoE(lfm2_moe)、MoEブロックあたりエキスパート64、top-4ルーティング
  • レイヤー構成: 40層(ゲート付き短縮畜ブロック30+GQAブロック10)
  • 語彙数: 128,000
  • コンテキスト長: 131,072トークン(128K)

性能

このリポジトリ自身のモデルカードには、同じLFM2.5-24B-A2Bから作られた複数の精度(bf16/8bit/6bit/5bit/4bit)を比較した表が載っています。

→ 横にスクロールできます

Repository Weights Bits per weight Top-1 agreement Mean KL
LFM2.5-24B-A2B-MLX-bf16 bfloat16 16 94.19% 0.0681
LFM2.5-24B-A2B-MLX-8bit 8-bit 8.50 93.33% 0.0808
LFM2.5-24B-A2B-MLX-6bit 6-bit 6.51 91.17% 0.1108
LFM2.5-24B-A2B-MLX-5bit 5-bit, 6-bit embedding 5.52 88.23% 0.1652
LFM2.5-24B-A2B-MLX-4bit 4-bit, 6-bit embedding 4.53 83.35% 0.2907

Top-1 agreement(元のfloat32モデルと同じ次トークンを選ぶ割合)はbf16版が94.19%で最も高く、量子化ビット数を下げるほど一致率は下がり、KL(元モデルからの分布のずれ、低いほど元に近い)は増えています。公開元によれば、bf16版でも一致率が100%でない理由は、MoEルーターのbfloat16丸めによって一部のエキスパート選択が変わるためとされています。つまりbf16版は量子化はしていないものの、ルーター計算の丸め誤差でごくわずかに元モデルと出力がずれる可能性がある、という位置づけです。

ベンチマークスコア自体は、量子化版ではなく元モデルLFM2.5-24B-A2Bのモデルカードに掲載されているもので、公開元が同クラスのMoEモデルと比較した測定結果です。

Benchmarks

→ 横にスクロールできます

Benchmark LFM2.5-24B-A2B Qwen3.6-35B-A3B Gemma-4-26B-A4B-it Nemotron-3.5-Lightning (30B-A3B)
AutomationBench 27.69 8.72 5.46 2.61
BFCLv4 65.01 65.00 57.09 53.78
ToolSandbox 80.71 75.02 72.09 75.13
LiveClaw 48.09 38.19 41.25 37.72
PinchBench 83.18 89.93 77.12 84.20
τ³-Bench Banking 8.04 7.63 4.54 7.01
WebArena Verified 26.75 37.62 25.62 28.69
GPQA Diamond 74.42 83.69 74.90 72.42
AA-Omniscience -24.90 -24.35 -59.39 -3.58
HLE 7.40 7.69 8.57 5.65
IFEval 96.75 93.06 92.00 94.19
IFBench 74.69 64.21 47.44 71.67
Multi-IF 84.38 81.53 82.19 82.34
MATH-500 96.04 96.73 95.66 96.40
SWE-Bench Verified (OpenCode) 51.00 66.20 25.80 53.40
SciCode 32.71 37.35 35.42 27.78

AutomationBench・ToolSandbox・LiveClaw・IFEval・IFBendchといったツール利用やエージェント・指示追従系の項目では、LFM2.5-24B-A2Bが比較対象の中で最も高いスコアを出しています。指示に書式どおり従えるかを測るIFEvalは96.75で比較4モデル中最高です。一方、科学の難問を測るGPQA Diamondは74.42にとどまり、約50%多いパラメータ規模のQwen3.6-35B-A3B(83.69)に及びません。実在のGitHub issueをリポジトリ編集で解決できるかを測るSWE-Bench Verified(Resolved率)でも51.00とQwen3.6-35B-A3B(66.20)に差があり、コーディングの自律修正力は劣る結果です。難問集であるHLEは7.40で、スコア自体が各モデルとも低く、Qwen3.6-35B-A3B(7.69)との差はわずかです。高校〜競技レベルの数学を測るMATH-500は96.04〜96.73の範囲で4モデルともほぼ横並びで、大きな差はありません。これらはいずれも公開元自身による測定である点に留意が必要です。

得意なこと・想定用途

LFM2.5-24B-A2B-MLX-bf16は、Apple Siliconを搭載したMacなどの端末上で、高速かつプライベートに動作する自律型エージェントやツール利用(Function Calling)を主用途として想定したモデルです。

元モデルであるLFM2.5-24B-A2Bの大きな特徴として、回答を出力する前に必ず推論ステップを挟む「思考モデル」であることが挙げられます。チャットテンプレートによってアシスタントの応答開始時に自動的に “ の後に最終的な回答を出力する仕組みになっています。1トークンあたりの活性パラメータ数が2.45Bと小さいため、思考トークンを大量に生成しても計算負荷を低く抑えられる利点があります。

また、エージェントハーネス(Hermes Agent、OpenClaw、Pi、OpenCodeなど)での利用を意識した強化学習や蒸留が行われており、ツール定義を与えた際の呼び出し精度が高く設計されています。ツール呼び出しはデフォルトでPythonのリスト形式として出力され、外部ツールの実行結果をモデルにフィードバックするワークフローを滑らかに実行できます。

一方で、モデルカードでは「知識集約型のタスクを単体で行わせることは推奨しない」と明記されています。モデル自身の記憶に頼るのではなく、得意とするツール呼び出し機能を活かして外部検索(RAG)やウェブ検索と組み合わせて利用することが推奨されています。

対応言語は英語、日本語、アラビア語、中国語、フランス語、ドイツ語、イタリア語、韓国語、ポルトガル語、スペイン語、ベトナム語、タイ語、インドネシア語、ヒンディー語、ロシア語、ポーランド語の16言語に対応しています。コンテキスト長も131,072トークン(128K)と広大であり、長いログや複数ターンのツール実行履歴を保持したままエージェントを動かす用途に適しています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 24.0B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
A100 / H100 80GB クラス MLX 44.7GB 53.6GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。

公開元の配布は MLX / safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。現時点で動かすなら transformers(PyTorch)・vLLM・MLX (Apple Silicon) で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス lfm1.0(条件付きで商用利用可): LiquidAI の LFM Open License v1.0 です。商用利用は可能ですが、年間売上が1,000万ドル以上の法人による商用利用は許諾の対象外です(第5条)。再配布時はライセンス文と変更点の告知が必要です。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
IFM/Jais-3-32B-GGUF 34.8B 24GB apache-2.0 「Jais-3-32B-GGUF」アラビア語と英語に対応する32BのDenseモデル:必要VRAM 24GB〜(2026-11-17)
IFM/Jais-3-MoVA-36B-A4B-GGUF 37.4B 32GB apache-2.0 「Jais-3-MoVA-36B-A4B-GGUF」アラビア語と英語対応のMoE言語モデル:必要VRAM 32GB〜(2026-11-17)
tencent/Hy-Memory-30B-A3B 30.1B 12GB apache-2.0 「Hy-Memory-30B-A3B」テキスト生成モデル:必要VRAM 12GB〜・GGUF版あり(2026-11-17)
KRAFTON/Raon-1-mini-preview 28.8B 24GB apache-2.0 「Raon-1-mini-preview」思考モード搭載の言語モデル:必要VRAM 24GB〜・GGUF版あり(2026-11-17)
ggml-org/Flint-GGUF 39.8B 32GB apache-2.0 「Flint-GGUF」コーディング向けMoE言語モデル:必要VRAM 32GB〜(2026-11-17)

入手方法

本モデルはApple Silicon向けのMLX形式(safetensors)で配布されています。入手に際してライセンス同意を求めるゲート(Gated)は設定されておらず、Hugging Faceのリポジトリから直接取得可能です。

実行には mlx-lm ライブラリを使用します。エキスパートのルーティング処理を正しく行うため、バージョン0.32.0以降の利用が必須とされています。それより前のバージョンではエラーを出さずに読み込まれるものの、正常な出力が得られないため注意してください。以下のコマンドでインストールや更新が可能です。

pip install -U "mlx-lm>=0.32.0"

Pythonスクリプトからモデルをロードして推論を行う最小限のコード例は以下の通りです。思考プロセスでトークンを多く消費するため、max_tokens には大きめの値を指定することが推奨されています。

from mlx_lm import generate, load
from mlx_lm.sample_utils import make_logits_processors, make_sampler

model, tokenizer = load("LiquidAI/LFM2.5-24B-A2B-MLX-bf16")

messages = [{"role": "user", "content": "What is C. elegans?"}]
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True)

# generation_config.jsonで推奨されている生成パラメータ
sampler = make_sampler(temp=0.1, top_k=50)
logits_processors = make_logits_processors(repetition_penalty=1.05)

text = generate(
    model,
    tokenizer,
    prompt=prompt,
    max_tokens=4096,
    sampler=sampler,
    logits_processors=logits_processors,
)
reasoning, _, answer = text.partition("</think>")
print(answer.strip())

また、mlx_lm.server を使用してOpenAI互換のローカルAPIサーバーとして起動することもできます。デフォルトの生成トークン数制限(512トークン)では推論が途中で途切れるため、サーバー起動時に最大トークン数を指定して立ち上げます。

mlx_lm.server --model LiquidAI/LFM2.5-24B-A2B-MLX-bf16 --temp 0.1 --top-k 50 --max-tokens 8192

サーバー起動後は http://localhost:8080/v1 経由でリクエストを受け付けることができ、Hermes AgentやOpenClawなどの各種エージェント基盤のバックエンドとしても接続できます。

関連記事

次に読むなら

出典