テンソルライブラリ「ggml v0.23.0」公開：スパースアテンションと非同期RPCに対応

2026年9月6日2026年10月28日

基本情報

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

機械学習用のテンソルライブラリである ggml の最新バージョン v0.23.0 がリリースされました。

本リリースでは、スパースアテンション（Sparse Attention）や非同期実行、およびメモリ割り当ての依存関係追跡のための新しいオペレータとバックエンド・スケジューリング API が導入されています。特に、RPC（Remote Procedure Call）スタックの拡張や、CPU、GPU、各種アクセラレータにおける広範なパフォーマンス改善と正確性の向上が含まれており、分散推論や高度なモデルアーキテクチャを利用する技術者にとって重要なアップデートとなっています。

破壊的変更・非推奨

RPCプロトコルの仕様が変更されました。

この変更は、RPCスタックを利用して分散環境での推論を行っているユーザーに影響します。

主な変更点

スパースアテンションと新オペレータの追加

スパースな K/V マスクを扱うための ggml_flash_attn_ext_set_n_kv_max() や、ggml_swiglu_clamp() などの新しいオペレータが追加されました。これにより、スパースアテンションを利用する新しいモデルアーキテクチャへの対応が強化されています。スパースアテンションを使用するモデルを動かしているユーザーは、これらの新しい機能の恩恵を受けることができます。

RPCスタックの機能拡張と高速化

RPC プロトコルが強化され、イベントおよび非同期バックエンド API が実装されました。また、Apple RDMA トランスポートが追加され、リモートバッファのシリアライズを回避する仕組みが導入されています。これにより、ネットワークを介した分散推論の効率が向上します。分散推論環境を構築しているユーザーに影響があります。

GPUバックエンド（CUDA / ROCm / Metal）の最適化

GPUを利用するユーザー向けに、大幅な最適化が行われました。 CUDA / ROCm では、スパース Flash Attention (FA) や、XOR-swizzled FA K/V smem、さらには拡張された MoE (Mixture of Experts) フュージョンが追加されました。また、マルチGPU環境において、スプリットごとに並列ストリームを利用できるようになり、並列性能が向上しています。 Metal では、スパース FA や radix top-k に加え、Mamba-2 の prefill 最適化のための chunked SSD MMA が追加されました。また、Metal 4.0 のテンソル API サポートも含まれており、最新の Apple GPU 環境を利用しているユーザーに影響します。

Vulkan およびその他のアクセラレータへの対応

Vulkan バックエンドでは、Deepseek V4 のオペレーションに対応するための Lightning Indexer サポートや、cross-entropy loss が追加されました。 OpenVINO では、OpenVINO 自体のアップデート（2026.3.1）に加え、whisper.cpp のサポートや NPU 上での Qwen3.5 対応が行われています。 Hexagon では、マルチNPUデバイスのサポートと、完全に非同期なバックエンドが実装されました。

CPU および WebGPU の改善

CPU では、AVX2 を使用した大規模バッチ時における IQ モデルのプロンプト処理速度が向上しています。 WebGPU では、テンソル取得時にオフセットが 4 の倍数でない場合に発生していたクラッシュが修正されました。

対応モデル・ハードウェア

本リリースでは、以下のハードウェアおよびモデルアーキテクチャへの対応・最適化が行われています。

GPU / アクセラレータ
– CUDA / ROCm: スパース Flash Attention (FA) や拡張された MoE フュージョンに対応。また、RDNA3 アーキテクチャ向けの MMQ 設定のチューニングが行われました。
– Metal: Apple GPU における fa-vec のチューニングが M1, M2, M3, M4 シリーズ（Pro/Max/Ultra を含む）および A18 Pro に適用されました。また、Metal 4.0 のテンソル API サポートも追加されています。
– Vulkan: Deepseek V4 のオペレーションに対応するための Lightning Indexer サポートが追加されました。
– OpenVINO: NPU 上での Qwen3.5 対応が行われています。
– Hexagon: マルチNPUデバイス（IQ9, IQ10）のサポートが追加されました。

モデルアーキテクチャ / 量子化
– スパースアテンションを利用するモデル（ggml_flash_attn_ext_set_n_kv_max() による K/V マスク対応）や、Mamba-2 の prefill 最適化（chunked SSD MMA）への対応が含まれます。
– CPU において、AVX2 を用いた大規模バッチ時の IQ モデルのプロンプト処理が高速化されています。

アップデート方法

ソースからビルドする場合は、以下の手順に従ってください。

git clone https://github.com/ggml-org/ggml
cd ggml

mkdir build && cd build
cmake..
cmake --build. --config Release -j 8

前回の記事からの更新履歴

当サイトがGitHubのリリース一覧から機械的にまとめた、この版と前回取り上げた版の間に出た版です(単独記事にはしていません)。 全ての版はエンジン別ページにあります。

関連記事

• 推論基盤ライブラリ「ggml v0.26.0」公開、各バックエンドの最適化と対応拡大
• C++テンソルライブラリ「ggml v0.25.2」公開、各バックエンドの最適化を実施
• ggml v0.24.0リリース：精度制御APIの追加とバックエンド強化
• llama.cpp v0.6.0リリース：新バッチAPIやMetal高速化、新モデル対応

次に読むなら

• このツールの更新を追う → ggml の概要とリリース履歴(記録済み43版)
• 同じ分類(量子化・モデル形式・ファインチューニング)の他のツール → ExLlamaV3 / Unsloth

出典

• ggml-org/ggml v0.23.0

更新履歴

• 2026-09-19: 下書きに戻していた記事を、材料を集め直して書き直し、公開に戻しました。