ggml v0.28.0 リリース: MoE高速化と疎アテンション用新演算を追加

ggml v0.28.0 リリース: MoE高速化と疎アテンション用新演算を追加

基本情報

項目 内容
リポジトリ ggml-org/ggml
版 v0.28.0
公開日 2026-10-28
ライセンス MIT
出典の種類 公開元の一次情報(GitHub公式リリースで一次情報確認)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

機械学習向けのC++製テンソルライブラリであるggmlの最新バージョン「ggml v0.28.0」が公開されました。ggmlはローカル環境における大規模言語モデル(LLM)推論などの基盤として広く利用されているMITライセンスのオープンソースライブラリです。

本バージョンでは、疎なアテンション(Sparse Attention)処理に向けた融合マスク演算 GGML_OP_TOP_K_MASK の追加や、Mixture of Experts(MoE)処理におけるディスパッチ動作の整理が行われました。CUDAやSYCL、Metalをはじめとする各種バックエンドで大幅なスループット向上が図られており、特にMoEモデルや疎アテンションモデルをローカル環境で高速に実行したい開発者にとって更新のメリットが大きいリリースとなっています。

破壊的変更・非推奨

本バージョンでは、MoE関連のインデックス指定規則およびRPCプロトコルのバージョンが更新されています。

項目 以前の挙動 v0.28.0 以降の挙動
ggml_mul_mat_id / ggml_add_id の -1 インデックス 範囲外インデックスとしてパッチ処理などに依存 当該スロットの計算を明示的にスキップし、出力行をゼロ埋め
RPCプロトコル バージョン 8.0.0 8.0.1 (GGML_OP_COUNT が102に変更)

この変更は、ggml_mul_mat_id や ggml_add_id を直接利用してMoEなどのルーティングロジックを実装している開発者や、RPC機能を利用して分散推論を行っている環境に影響します。RPC機能を利用している場合は、クライアント側とサーバー側の双方を本バージョンに揃えて更新する必要があります。

主な変更点

疎アテンション向け新演算 GGML_OP_TOP_K_MASK の追加

トップkの疎アテンションマスク処理を融合した新しい演算 GGML_OP_TOP_K_MASK およびAPI関数 ggml_top_k_mask() が追加されました。CPU、CUDA、Metalの各バックエンドに実装が提供されています。これにより、疎アテンションを利用するアーキテクチャにおいてアテンション計算のオーバーヘッドが削減されます。

MoEおよびCUDAバックエンドの高速化

CUDA環境におけるMoE処理の最適化が進められ、グループ化されたエキスパートのトップk融合処理が追加されたほか、最大384エキスパートの大規模構成に対応する専用の融合パスが導入されました。さらに、MMQにおいてインターリーブされたgate/up行を用いたFFN gate/up行列積とGLUの融合、MRoPEと SET_ROWS の融合が実装されています。また、CUDAグラフの投入オーバーヘッドを平準化する分割投入(chunked launch)にも対応しました。

SYCLバックエンドにおけるグラフ記録とXMX最適化

Intel製GPUなどを対象とするSYCLバックエンドでは、演算ごとの起動オーバーヘッドを低減するグラフ記録・再実行(record/replay)機能が追加されました。また、Intel XMXマトリクスエンジン向けのマルチカラム行列積カーネルが刷新されたほか、Q8の高速パスやQ4_K/Q5_K向けのワイドストアを含む逆量子化処理の高速化が施されています。

メモリレイアウト制約の緩和とコア機能の改善

コア機能において、ggml_scale が連続メモリだけでなく非連続な行ビューの入力を受け付けるよう制限が緩和されました。また、SUM 演算でもCPU、CUDA、Vulkan、WebGPUにおいて非連続な入力がサポートされています。さらに、計算ノードのアキュムレータ精度やソースごとの精度を取得するための ggml_prec_get_acc() および ggml_prec_get_src() アクセサが追加されました。

多様なハードウェアバックエンドの機能拡充

OpenCLバックエンドではQ2_KおよびQ3_K量子化形式への初期対応が行われ、疎アテンション向けの TOP_K やライトニングインデクサーが追加されました。Vulkanバックエンドでは RMS_NORM がサブグループリダクションを用いて書き直され、WebGPUではQ2_0量子化形式のサポートが追加されています。また、Hexagon(HTP)バックエンドの再パッキング処理が刷新され、ZDNNバックエンドではFlash Attention(FLASH_ATTN_EXT)が新たに利用可能となりました。

安定性の向上とバグ修正

Windows環境において ggml_time_ms および ggml_time_us でタイマーカウンターがオーバーフローする可能性のあった問題が修正されました。また、RPC接続において過大なRDMA転送や受信時の std::length_error が発生した際にプロセスが異常終了せず適切にエラー処理されるよう改善されています。

対応モデル・ハードウェア

本バージョンでは、各種エッジデバイスやアクセラレータに向けた量子化形式の拡充とハードウェア機能の最適化が行われています。

量子化形式の対応拡大

  • OpenCL環境におけるQ2_KおよびQ3_Kのサポート: OpenCLバックエンドにおいて、gemv、gemm、mul-mat、mul-idといった各種行列演算カーネルでQ2_KおよびQ3_K量子化形式が初期サポートされました。MoE向けの演算パスも含まれており、OpenCLを利用する環境で低ビット量子化されたMoEモデルの推論が可能になります。
  • WebGPUにおけるQ2_0のサポート: WebGPUバックエンドにQ2_0形式のサポートが追加されました。ブラウザ環境やポータブルなGPU推論環境において、より極小のメモリフットプリントでモデルを実行できます。
  • Qualcomm Hexagon(HTP)における低ビット量子化: Hexagonバックエンドにおいて、Q1_0およびQ2_0形式の重みが新たにサポートされました。アダマール回転(Hadamard rotation)を用いた MUL_MAT 演算や、フラット配置およびタイル配置の双方向を対象とする GET_ROWS に対応しています。
  • Arm CPU向けKleidiAIのQ8_0最適化: Armアーキテクチャ向けでは、KleidiAIによるQ8_0 SVE dotprod GEMVカーネルおよびSVE i8mm GEMMカーネルが追加されました。実行時にSVE-i8MM命令セットの有無を検出する機能も備わっています。

アクセラレータおよびGPU対応の強化

  • Qualcomm Hexagon DSP / HMX: Snapdragon Toolchain v0.8への更新が行われ、Hexagon v85アーキテクチャが有効化されました。マルチコアHMXにおけるFlash Attention実行ではKVヘッドのチーム分割やマルチストリーム実行が導入され、ロングコンテキストやスライディングウィンドウ処理の修正が行われています。また、環境変数 GGML_HEXAGON_VTCM_SIZE によるVTCMサイズのカスタマイズに対応しました。
  • Qualcomm Adreno X1: OpenCL環境において、Adreno X1向けのMxFP4形式MoE DP4AプリフィルGEMMカーネルが事前コンパイル済みとして導入されました。
  • IBM ZDNN: ZDNNバックエンドにおいて、Flash Attention演算(FLASH_ATTN_EXT)が新たに利用可能となりました。
  • Intel XMX: Intel製GPUのSYCL環境において、Intel XMX(Matrix Extensions)マトリクスエンジンを利用したマルチカラム行列積カーネルが再構築され、処理効率が向上しています。
  • AMD HIP (ROCm): RDNA3およびRDNA4世代(gfx11およびgfx12)において、bf16精度のWMMAオペランド型の問題が修正されました。また、バイト置換命令が利用できない環境に向けたポータブルなフォールバック処理が追加されています。

モデルアーキテクチャ関連の更新

コミット履歴において、DeepSeek-V4.1(DSV4.1 flash)に関連する演算の取り込みやレビュー修正が反映されています。また、QwenアーキテクチャにおけるMRoPEと SET_ROWS の融合や、疎アテンションに関連する選択ロジックの改善が含まれています。

アップデート方法

ソースコードからビルドして利用している場合は、GitHubリポジトリから最新コードを取得してビルドをやり直してください。公式のREADMEに記載されている標準的なビルド手順は以下の通りです。

git clone https://github.com/ggml-org/ggml
cd ggml

mkdir build && cd build
cmake..
cmake --build. --config Release -j 8

既存のビルドディレクトリがある場合は、リポジトリのルートで git pull を実行した後に再度 cmake --build を実行してバイナリを更新してください。

RPCによる分散推論機能を利用している環境では、通信プロトコルのパッチバージョンが8.0.1へ引き上げられているため、クライアント側とサーバー側の実行ファイルを同じバージョンに揃えて更新する必要があります。

関連記事

次に読むなら

出典