ggml v0.27.0公開:RPCテンソル並列と主要バックエンドの高速化

ggml v0.27.0公開:RPCテンソル並列と主要バックエンドの高速化

基本情報

項目 内容
リポジトリ ggml-org/ggml
版 v0.27.0
公開日 2026-10-15
ライセンス MIT
出典の種類 公開元の一次情報(公式リポジトリのリリースノートが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

機械学習向けのC++テンソルライブラリであるggmlの最新版「v0.27.0」が公開されました。ggmlはllama.cppをはじめとするローカルLLM実行基盤の核となる低水準ライブラリです。

本バージョンではRPCプロトコルがメジャーバージョン8に更新され、テンソル並列RPCサーバーモードに対応したほか、CUDA、CPU、Vulkan、SYCL、Metalなど主要なバックエンド全体にわたって大幅な高速化カーネルが導入されました。ネットワーク経由の分散推論を行っている方や、各ハードウェアで最新の量子化手法・アーキテクチャの推論速度を引き出したい方にとって重要なアップデートとなります。

破壊的変更・非推奨

RPC通信プロトコルおよびライブラリのシンボル可視性に関して、以下の変更が行われています。

項目 旧(v0.26.0以前) 新(v0.27.0)
RPCプロトコル RPC_PROTO_MAJOR_VERSION 7 RPC_PROTO_MAJOR_VERSION 8
デフォルトのシンボル可視性 公開(意図しない内部シンボルもエクスポート) 非公開(hidden。不要な内部シンボルを非エクスポート化)
ggml_mul_mat_idの重複エキスパート指定 未定義(実装依存のループ処理など) 仕様として「未定義(undefined)」と明記

RPC機能を利用して複数マシン間での分散実行を行っている環境では、クライアントとサーバーの両方をv0.27.0へ同時に更新する必要があります。プロトコルのメジャーバージョンが上がっているため、旧バージョンとの混在通信は動作しません。また、ggmlを共有ライブラリとして直接リンクしている開発者は、非公開化された内部シンボルへ依存していないか確認が必要です。

主な変更点

RPCのテンソル並列サーバー対応

RPC(リモートプロシージャコール)バックエンドにテンソル並列サーバーモードが導入されました。非同期グラフ計算、カスタムall-reduce、2次元テンソル転送に対応しています。これにより、ネットワークを介して複数の計算ノードにテンソルを分割配置し、協調して大規模モデルを実行する環境の効率が向上します。また、環境変数 GGML_RPC_DEBUG がログ詳細度(verbosity level)として扱われるようになり、トランスポートログやテンソル転送ログの可読性も改善されています。

スケジューラAPIの拡張

バックエンドスケジューラに2つのコールバック関数が追加されました。ユーザー側で分割重みのコピーを制御するためのコピーコールバック(ggml_backend_sched_set_copy_callback)と、推論中の計算バッファ再割り当てを通知するリファクタリング用コールバック(ggml_backend_sched_set_realloc_callback)です。これにより、複数デバイスにまたがるメモリ配置や動的なバッファ管理をアプリケーション側からきめ細かく制御できるようになります。

各種バックエンドの高速化パス拡充

各ハードウェアアクセラレータ向けに広範な高速化カーネルが追加されました。
– CUDA / HIP: gated-delta-netのチャンク化カーネルが導入され、ワープごとの状態列数が増加しました。また、RDNA3.5向けの64行MMQタイルのサポートや、XIELU向けのBF16対応、トップkアルゴリズムの選定改善が行われています。
– CPU: Q2_0向けのAVX2ドット積カーネルが追加されました。さらにKleidiAIを通じてArm SME2環境におけるQ4_Kの行列積に対応し、Q6_KもQ8_0パスへルーティングされるよう最適化されています。x86環境におけるF16C有効時のFP16→FP32ルックアップテーブルも復元されています。
– Vulkan: coopmat2行列積に対してL2キャッシュを考慮したワークグループスケジューリングが実装され、mul_matにおけるbf16活性化に対応しました。AMD環境ではストライドを持つFP16 KVキャッシュを1回コピーしてメモリチャネル全体へ読み出しを分散させる最適化も入っています。
– SYCL: MXFP4、IQ3、Q5_Kの配置並び替えと算術デコードによるMoE高速化、グループ化MoE XMX GEMM、MKLフラッシュアテンションによるMLAプレフィルの高速化が追加されました。
– Metal: BF16向けのTensor APIフラッシュアテンションカーネルが追加され、ヘッド次元128/96のカーネルがデータ型を横断して利用可能になりました。

正確性とメモリ安全性の修正

ggml_accおよびggml_setにおいて、負のオフセット値が符号拡張された際に境界チェックをすり抜けて領域外書き込みを引き起こす不具合が修正されました。また、バッチ入力時における ggml_conv_1d の出力レイアウトが正しく [N, OC, OL] になるよう修正されたほか、CPUおよびCUDAバックエンドにおいて非連続ビューに対するCLAMP処理が正常に動作するよう改修されています。

対応モデル・ハードウェア

ggml v0.27.0では、多数のプロセッサアーキテクチャおよび量子化フォーマットに対する最適化と機能追加が行われました。利用者が手元のハードウェア環境で恩恵を受けられる具体的な対応状況は以下の通りです。

量子化フォーマットの拡充

  • MXFP4 / IQ3 / Q5_K: SYCLバックエンドにおいて、ウェイトの並び替え(weight reordering)と算術デコードによるMoE(Mixture of Experts)計算の高速化が導入されました。
  • Q2_0: CPUバックエンドにおいてAVX2ドット積カーネルが追加され、低ビット量子化モデルの処理効率が向上しています。
  • Q4_K / Q6_K: Arm SME2環境(KleidiAI経由)でのQ4_K行列積対応、およびOpenCL環境におけるdp4aを用いたQ4_K / Q6_K(対Q8_1)MoEバイナリGEMMカーネルが追加されました。また、Hexagon DSP向けにもQ4_K / Q6_KのGET_ROWSタイリング処理などが実装されています。
  • Q8_0: zDNNバックエンド(IBM zSystems向け)において、新たにQ8_0行列積のサポートが追加されました。

モデルアーキテクチャへの対応強化

  • MoE(Mixture of Experts)モデル: SYCLにおけるグループ化XMX GEMM、OpenCL(Qualcomm Adrenoなど)におけるdp4aカーネルの追加など、各バックエンドでMoEの推論処理が強化されています。
  • MLA(Multi-head Latent Attention)採用モデル: SYCLバックエンドにおいて、MKLフラッシュアテンションを用いたMLAプレフィルの高速化が追加されました。これにより、MLAアーキテクチャを採用したモデルのコンテキスト処理が効率化されます。
  • Gated-Delta-Net系モデル: CUDAおよびHIP環境向けにチャンク化カーネルが導入されたほか、SYCL環境でもアルファゲートの演算融合(add + unary + mul)が行われています。
  • フラッシュアテンションの拡張: OpenCLバックエンドにおいてヘッド次元の対応範囲が拡張され、dk512などの設定が扱えるようになりました。Metalバックエンドでもヘッド次元128および96のカーネルが整備され、BF16向けTensor APIカーネルが追加されています。

ハードウェア・アクセラレータ対応

  • CPU(x86 / Arm): Arm SME2におけるKleidiAIアクセラレーション、x86におけるAVX2環境でのF16C検出修正およびFP16→FP32ルックアップテーブルの復元が行われました。
  • CUDA / AMD HIP: AMD RDNA3.5アーキテクチャ向けに一部量子化タイプで64行MMQタイルがサポートされました。古いNVIDIAアーキテクチャ(sm_60)ではMUL_MAT_ID実行時にMMVQを優先する調整が入っています。
  • Vulkan: Intel Arc Pro B65およびB70向けのシェーダー数が定義されたほか、AMD製GPUや内蔵GPU(iGPU)におけるメモリ読み出しの不均衡や低速化に対処する修正が適用されています。また、coopmat2によるスパースフラッシュアテンションやL2キャッシュ最適化スケジューリングが利用可能です。
  • Qualcomm Hexagon DSP: 環境変数 GGML_HEXAGON_POWER_MODE によるHTP DCVS/HMX電力モードの設定機能が追加されました。DMAおよびHVXを活用したコピー処理の大幅な改修や、IM2COL_3Dおよびプーリング処理の追加が行われています。
  • その他: WebGPUバックエンドでの2Dワークグループディスパッチ対応、OpenVINOバックエンドでのGPUステートフル実行の修正などが実施されています。

アップデート方法

ggmlはソースコードからビルドして利用するC++ライブラリです。ローカル環境で最新版をビルドして利用する場合は、以下の手順を実行します。

git clone https://github.com/ggml-org/ggml
cd ggml

mkdir build && cd build
cmake..
cmake --build. --config Release -j 8

既存のリポジトリを利用している場合は、作業ディレクトリ内で git fetch および git checkout v0.27.0 を実行した上で、再度ビルドを行ってください。

関連記事

次に読むなら

出典