llama.cpp v0.9.0リリース:FP8量子化とGemma 4最適化に対応

llama.cpp v0.9.0リリース:FP8量子化とGemma 4最適化に対応

基本情報

項目 内容
リポジトリ ggml-org/llama.cpp
版 v0.9.0
公開日 2026-11-04
ライセンス MIT
出典の種類 公開元の一次情報(公式GitHubリリースノート)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

C/C++によるLLM(大規模言語モデル)の推論エンジンである llama.cpp の最新バージョンである v0.9.0 がリリースされました。今回のアップデートにおいて、利用者にとって最も影響が大きい変更点は、OCP FP8 E4M3形式の量子化への対応です。これにより、推論に特化した新しいデータ形式を利用したモデルの実行が可能になります。

破壊的変更・非推奨

ggml ライブラリの更新に伴い、テンソルコピーに関するAPIに変更が行われています。

旧API 新API
_2d API ggml_backend_tensor_copy_n/set_n/get_n (batched tensor copy API)

この変更は、ggml バックエンドのAPIを直接利用して開発を行っているユーザーに影響します。既存の _2d APIに依存したコードは、新しいバッチテンソルコピーAPIへの移行が必要となります。

主な変更点

FP8量子化のサポート

OCP FP8 E4M3テンソル型が新たに追加されました。E4M3は、推論において最も一般的に使用される形式です。このサポートにより、より効率的な量子化を用いた推論が可能になります。新しいデータ形式を利用するため、対応する量子化形式で作成されたモデルを使用する際に、新しい ftype の指定が必要になる可能性があります。

KVキャッシュの効率化

新しい flash_attn_ext_rows オペレータが導入されました。これにより、マルチシーケンス推論における統合KVキャッシュの効率が向上し、非統合KVを使用していた場合と同等のプリフィル性能を回復できます。複数のシーケンスを同時に扱う、あるいは複雑な推論ワークフローを構築しているユーザーにとって、パフォーマンスの改善が期待できます。

Gemma 4の最適化

Gemma 4のE2BおよびE4Bモデルに対して、グラフ最適化による大幅なプリフィル性能の向上が図られています。Gemma 4シリーズのモデルを利用しているユーザーは、特別な設定変更なしに、推論開始時の処理速度が向上する恩恵を受けることができます。

マルチモーダル機能の拡張

音声生成および文字起こしの機能が大幅に強化されました。Chatterbox TTSのサポートが追加されたほか、40言語に対応したNemotron 3.5 Transcribeによるオフライン文字起こし(話者属性の付与を含む)が可能になっています。また、Pocket TTSではボイスクローニングを使用せずに定義済みの音声を利用できるようになりました。さらに、Qwen3-VLのビデオプロンプト形式にも正確に対応しています。マルチモーダルなモデルをローカル環境で動かしているユーザーにとって、非常に強力なアップデートです。

サーバーAPIの改善

llama.cpp サーバーの /v1/responses エンドポイントにおいて、extra_params(seed や min_p など)がチャットコンプリーションのレスポンスにマージされるようになりました。これにより、API経由でモデルを制御している開発者は、より柔軟にパラメータを扱うことができるようになります。

対応モデル・ハードウェア

今回のリリースでは、以下の新しいモデルアーキテクチャおよびモデルへの対応が行われました。

  • Clover: Clover-35B-A3B-Preview 拡散モデル(ARモードのみ)のサポート。
  • Limite: Limite 1B - Violetto のサポート。
  • Metis-1.6: Praxis (~2.9B) および Logos (~10.2B) のサポート。これらは固定深度の再帰とLatentMoEを備えたハイブリッドMamba-2 / GQAアテンションモデルです。
  • Mistral Large 4: 新たにサポートされました。
  • LFM3: NVFP4 GGUF形式の有効化、およびテンポラル・スプリットの有効化が行われました。
  • Gemma 4: E2BおよびE4Bモデルにおいて、グラフ最適化による大幅なプリフィル性能の向上が実現しています。

また、ハードウェア面では、ggml v0.29.0 のアップデートにより、CPU、CUDA、SYCL、Metal、Vulkan、OpenCL、およびHexagonの各バックエンドにおいて、パフォーマンスの改善や新しい演算への対応が進められています。

アップデート方法

llama.cpp をアップデートするには、リポジトリを最新の状態に更新してください。一般的な手順は以下の通りです。

git pull

詳細なビルド手順については、公式のリポジトリをご確認ください。

当サイトの CPU での速さ

当サイトのサーバー(GPU なし、Neoverse-N1 の3スレッド)で、毎回同じモデル(unsloth/Qwen3-0.6B-GGUF の Qwen3-0.6B-Q4_K_M.gguf、版 50968a4468)を llama-bench(プロンプト512トークン・生成128トークン)で測りました。v0.5.0 のような版には公式のバイナリが付かないので、その版を含む最初の公式配布(ubuntu-arm64)で測り、「+N」はその配布が版より何コミット先かです。CPU での値で GPU の速さの目安ではありません。小さな差は測るたびのばらつき(± は標準偏差)の範囲のことがあります。

版 測った公式配布 プロンプト 生成
v0.9.0 b12110 128.1 ± 0.9 トークン/秒 42.9 ± 0.6 トークン/秒
v0.8.0 b11960 127.9 ± 0.1 トークン/秒 42.4 ± 0.4 トークン/秒

関連記事

次に読むなら

出典