llama.cpp v1.0.0リリース:FP8 KV-cacheやサーバーセキュリティ強化に対応

llama.cpp v1.0.0リリース:FP8 KV-cacheやサーバーセキュリティ強化に対応

基本情報

項目 内容
リポジトリ ggml-org/llama.cpp
版 v1.0.0
公開日 2026-11-13
ライセンス MIT
出典の種類 公開元の一次情報(公式GitHubリポジトリのリリースページが出典)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

llama.cpp は、C/C++ で書かれたLLM推論エンジンです(ライセンスは MIT)。この度 v1.0.0 が公開されました。公式の本文は「More info at 3PM CET」とあり、詳細な解説は後日追記される見込みです。以下は v0.9.0 以降のコミット一覧から読み取れる範囲で、詳細は未確認です。

利用者に最も影響が大きいのは llama-server のセキュリティ強化です。--cors-origins の処理修正と DNS rebinding 対策(#32098)、CORS プロキシとメディア URL の SSRF 修正(#32115)が入っています。サーバーを LAN などに公開している人は、早めの更新を検討してください。

主な変更点

コミット題名のみが根拠で、PR 本文は資料にありません。そのため挙動の詳細は断定できません。

新機能

FP8 KV-cache と CUDA の OCP FP8 対応

llama : Add FP8 KV-cache support(#28392)と CUDA: Add OCP FP8 support(#28413)が入りました。VRAM を節約したいCUDAユーザーが対象です。使い方や対応GPUは資料に無く、公式の続報待ちです。

Windows の unbuffered モデルロード

Windows unbuffered model load(#26014)が追加されました。Windows で大きなモデルを読み込む人に関係します。有効化の方法は資料に記載がありません。

外部 PLE ファイルの読み込み

feat: external PLE file loading(#31185)が追加されました。詳細は資料にありません。

server の音声・MCP 関連

  • OpenAI 互換の /v1/audio/speech エンドポイントが追加されました(#31763)
  • MCP ツール呼び出しは、クライアント切断やタイムアウト時にキャンセルされるようになりました(#32025)
  • --tools-runtime を指定した場合、x-tool-runtime は無視されます(#32119)

MoE キャッシュの改良

キャッシュ方式に LRFU/MQ 風のハイブリッド(#31233)が入りました。キャッシュに無いエキスパートを CPU で実行する処理(#30966)も追加されています。VRAM に載り切らない MoE モデルを動かす人は、挙動の確認をお勧めします。

性能改善

  • CUDA: バッチサイズ 2〜24 向けの few-row MMQ(#31533)
  • CUDA: nvfp4 チェックポイントのプリフィルを、スケール融合で最適化(#26048)
  • Vulkan: Intel 向けのプリフィル用 FlashAttention カーネル(#29357)
  • ARM NEON: 4×4 simd_gemm タイルの利用(#32128)
  • Hexagon: Q5_0 と Q5_1 に対応(#32094)

具体的な速度向上の数値は資料にありません。

バグ修正・安全性

  • llama-server が「非ループバックのアドレスでのツール利用は明示的なオプトイン」とする変更(#32113)が入りました。外部公開している環境では、ツール機能の挙動が変わる可能性があります(詳細は未確認)
  • Hugging Face のトークンを huggingface.co のホストにのみ送るよう制限(#31730)
  • llama-cli がプロンプトやファイル中の不正な UTF-8 でクラッシュする問題を修正(#31563)
  • Metal の FlashAttention 出力バッファへの範囲外書き込みを修正(#31662)
  • llama-quantize で imatrix の GGUF ファイルパスがメタデータに漏れる問題を修正(#32000)
  • mtmd では、Qwen-VL や HunyuanVL などの projector で必須テンソルの検証が厳格化されました(#32129、#32130、#32131)。手元の mmproj が読み込めなくなった場合は、再変換や再取得を試してください(未確認)

対応モデル・ハードウェア

本バージョンでは、複数の新しいモデルアーキテクチャや各種アクセラレータ、量子化フォーマットへの対応が行われています。

新規対応モデルおよび拡張

資料のコミット一覧によると、以下のモデルアーキテクチャや機能追加が報告されています。

  • Kimi-K3.1: テキストモデル Kimi-K3.1-Pro(#31779) および kimi K3.1 vision(#31980) への対応が入っています。
  • Gemma 4: スキーマ規則の整理(#31915)に加えて、入力音声ストリームへの対応(#31965)が追加されました。
  • TTS(音声合成)モデル: drama-3 TTS(#31613) や Pocket TTS(#31655) への対応・機能拡張が行われています。
  • その他のモデル: Ripple (ricursiveai)(#31692)、xing4_0(#31589)、MageVL-Cowork(#31819) などのモデルへの対応が追加されています。また、Sarvam での byte fallback トークンの処理修正(#32006)も含まれます。

多峰性(mtmd)処理では、HunyuanVL で F32 の位置エンコーディングが必須化(#32131)されたほか、MiniCPM-V のプロジェクション幅の読み込み改善(#32132)、Qwen-VL プロジェクターでの 2×2 空間結合の要求(#32130)などが含まれており、関連するモデルの推論処理が整備されています。

量子化および各種アクセラレータへの対応

ハードウェアアクセラレータや量子化形式に関しても、多くのバックエンドで最適化や拡張が実施されています。

  • Hexagon: Q5_0 および Q5_1 量子化形式のサポートが追加されました(#32094)。
  • CUDA / GPU: OCP FP8 形式への対応(#28413)や、nvfp4 チェックポイントにおけるスケール融合最適化(#26048)、CDNA2 (gfx90a) 向けの MFMA インデクサー(#29050)が実装されました。また、Granite NVFP4 の重みスケールアタッチ(#31449)にも対応しています。
  • Vulkan: Intel 向けプリフィル用 FlashAttention カーネル(#29357)の追加や、AMD RDNA3/4 向けの Large-Tile Split-K 最適化(#30280)が行われています。
  • OpenCL / Mobile: Qualcomm Adreno 向けに分解 FlashAttention(#32046)が追加されたほか、Adreno X2 での F32 および Q5_K のマルチカラム GEMV が既定で有効化されました(#31694)。
  • SpacemiT / RISC-V: GATED_DELTA_NET の SpacemiT RVV カーネルへのルーティング(#31897)や、SpacemiT Q4_1 32×256 の HP カーネルディスパッチ(#31929)、SpacemiT IME2 MXFP4 Dense Repack の有効化(#31776)が追加されています。
  • SYCL / WebGPU: SYCL バックエンドでのデバイス側 MoE スケジューラー(#30156)追加、WebGPU での PAD_REFLECT_1D(#31877)、COUNT_EQUAL(#31578)、MEAN(#31591)、Group Norm カーネル(#31490)の実装などが行われました。

アップデート方法

資料のビルドガイドには具体的なインストールの実行コマンドが記載されていません。環境に応じた最新バイナリの取得方法や更新手順については、llama.cpp のリリースページ を直接参照してください。

ソースコードから更新する場合は、標準的な git コマンドで最新コードを取得し、再ビルドを行ってください。

git pull
cmake -B build
cmake --build build --config Release

当サイトの CPU での速さ

当サイトのサーバー(GPU なし、Neoverse-N1 の3スレッド)で、毎回同じモデル(unsloth/Qwen3-0.6B-GGUF の Qwen3-0.6B-Q4_K_M.gguf、版 50968a4468)を llama-bench(プロンプト512トークン・生成128トークン)で測りました。v0.5.0 のような版には公式のバイナリが付かないので、その版を含む最初の公式配布(ubuntu-arm64)で測り、「+N」はその配布が版より何コミット先かです。CPU での値で GPU の速さの目安ではありません。小さな差は測るたびのばらつき(± は標準偏差)の範囲のことがあります。

版 測った公式配布 プロンプト 生成
v1.0.0 b12359 132.7 ± 0.6 トークン/秒 42.5 ± 0.7 トークン/秒
v0.9.0 b12110 128.1 ± 0.9 トークン/秒 42.9 ± 0.6 トークン/秒

関連記事

次に読むなら

出典