llama.cpp v0.7.0リリース:MoE向けGPUキャッシュで最大約2.2倍高速化

llama.cpp v0.7.0リリース:MoE向けGPUキャッシュで最大約2.2倍高速化

基本情報

項目 内容
リポジトリ ggml-org/llama.cpp
版 v0.7.0
公開日 2026-10-16
ライセンス MIT
出典の種類 公開元の一次情報(公式GitHubリポジトリのリリース情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

llama.cpp v0.7.0がリリースされました。llama.cppは、C/C++で実装された大規模言語モデル(LLM)の推論エンジンです。

今回のアップデートにおける最も重要な変更点は、MoE(Mixture of Experts)モデル向けの新しいGPUキャッシュ機能の追加です。ホストメモリ上に保持されているエキスパートをGPUのLRUキャッシュ経由で実行できるようになり、エキスパートをオフロードしている環境において、デコード速度が最大で約2.2倍向上します。

破壊的変更・非推奨

以下の変更により、既存の環境やアプリケーションに影響が出る可能性があります。

項目 旧 新
サーバーのデフォルトポート 8080 9931
チャット出力のデータ形式 単一の文字列 パーツの配列
PLaMo-3のトークナイズ処理 以前の方式 plamo3 (事前セグメンテーションあり)

サーバーのポート番号が変更されたため、既存の接続設定やスクリプトを利用している場合は、ポート番号を9931に更新する必要があります(ただし、Dockerイメージ内では引き続き8080が使用されます)。また、チャットAPIを利用しているアプリケーションは、出力が文字列から配列に変更されたことに対応する必要があります。PLaMo-3モデルを使用している場合は、tokenizer.ggml.modelを"plamo3″に更新するか、GGUFファイルを再変換してください。

主な変更点

MoEエキスパート用のGPUキャッシュ

ホストメモリに保持されているMoEエキスパートを、GPU上のLRUキャッシュを利用して実行できる機能が追加されました。--moe-cache-mibオプションでキャッシュサイズを指定できます。実験では、RTX 5090を使用した場合に、デコード速度が30.8 t/sから67.8 t/s(2.20倍)に向上したことが報告されています。エキスパートをGPUからオフロードして運用しているユーザーにとって、非常に大きなパフォーマンス改善となります。

投機的デコーディングの強化

LiliCorr投機的デコーディングや、GLM5-Next向けのMTP(Multi-Token Prediction)が追加されました。これにより、特定のモデルアーキテクチャにおいて推論の高速化が期待できます。

埋め込みモデルのVRAM使用量削減

プーリングタイプがNONE以外に設定されている場合、埋め込みモデルの生成プロセスにおいてLM headとロジットバッファをスキップするようになりました。これにより、VRAM使用量を最大で10倍削減できます。埋め込みモデルを頻繁に利用するワークロードにおいて、メモリ効率が大幅に向上します。

Web UIのモデル管理機能

Web UIに新しい「Models Manager」が追加されました。提供されているすべてのモデルを一つのテーブルで管理でき、量子化形式の展開、検索、フィルタリング、ソート、お気に入りの登録が可能です。また、モデルのロード/アンロード、ディスクからの削除、進捗表示付きのレジューム可能なダウンロードといった操作もUI上から直接行えるようになっています。

意思決定モデルのサポート

LiquidAI d1/d1-omni、vLLM decision 2/d3、pplx-deciderといった、新しいアーキテクチャを持つ意思決定モデルがサポートされました。

対応モデル・ハードウェア

今回のリリースでは、非常に多くの新しいモデルアーキテクチャがサポートされました。具体的には、以下のモデルのGGUF変換や推論が可能になっています。

  • K2 Horizon: denseおよびMoVAの両バリアントに対応し、-sm tensorによる分割も可能です。
  • Prism Bonsai 2 27B: ternary(三値)モデルのサポートが追加されました。
  • EmbeddingGemma-2: テキスト、ビジョン、オーディオの埋め込みに対応しています。
  • マルチモーダルモデル: MiniCPM-V 4.7、Nemotron Super 3.5 VL、Nemotron Bolt 74B A9B、およびcohere2 vision encoderのサポートが追加されました。
  • 意思決定モデル: LiquidAI d1-3B、d1-omni-600M、vLLM decision 2、vLLM d3、pplx-deciderがサポートされています。
  • その他: maion-coder、Mellum、およびRerankers(ModernBERTエンコーダーのexact GELU対応を含む)などが含まれます。

ハードウェア面では、ggml v0.27.0へのアップデートに伴い、CUDA/HIPにおけるchunked gated-delta-netカーネル、CPUにおけるKleidiAI SME2 k-quant matmulsやAVX2 Q2_0 dot products、VulkanにおけるL2-aware coopmat2 schedulingやbf16 activations、Metalにおけるtensor-APIやwider-head-dim flash attentionなど、各種アクセラレータへの最適化が進められています。

アップデート方法

llama.cppをアップデートするには、リポジトリから最新のソースを取得してビルドし直してください。

git pull
make

(※具体的なビルドコマンドは、ご利用の環境やビルドシステムに合わせて適宜調整してください)

当サイトの CPU での速さ

当サイトのサーバー(GPU なし、Neoverse-N1 の3スレッド)で、毎回同じモデル(unsloth/Qwen3-0.6B-GGUF の Qwen3-0.6B-Q4_K_M.gguf、版 50968a4468)を llama-bench(プロンプト512トークン・生成128トークン)で測りました。v0.5.0 のような版には公式のバイナリが付かないので、その版を含む最初の公式配布(ubuntu-arm64)で測り、「+N」はその配布が版より何コミット先かです。CPU での値で GPU の速さの目安ではありません。小さな差は測るたびのばらつき(± は標準偏差)の範囲のことがあります。

版 測った公式配布 プロンプト 生成
v0.7.0 b11669 128.4 ± 0.1 トークン/秒 43.1 ± 0.2 トークン/秒
v0.6.0 b11429 128.4 ± 0.6 トークン/秒 43.0 ± 1.4 トークン/秒

関連記事

次に読むなら

出典