ggml v0.29.0リリース:FP8対応とマルチノード並列化の初期サポート

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | ggml-org/ggml |
| 版 | v0.29.0 |
| 公開日 | 2026-11-04 |
| ライセンス | MIT |
| 出典の種類 | 公開元の一次情報(公式GitHubリリースノート) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
機械学習向けのC++製テンソルライブラリである ggml-org/ggml(MITライセンス)の最新バージョン「v0.29.0」がリリースされました。
本バージョンでは、マルチノードでのテンソル並列処理に向けたマルチプロセスコミュニケータインターフェースの初期サポートが追加されたほか、OCP FP8 E4M3テンソル型や新しいFlash Attention演算子の導入が行われています。さらに、CPU、CUDA、SYCL、Metal、Vulkan、OpenCL、Hexagonといった多岐にわたるバックエンドでの大規模な最適化と不具合修正が適用されており、ローカル環境における推論・計算処理のパフォーマンスと安定性が向上しています。
主な変更点
マルチノードテンソル並列処理と通信APIの追加 別々のランク間で集団通信を行うためのマルチプロセスコミュニケータインターフェース(ggml_backend_comm_init_rank_t)が新しく導入されました。CUDAバックエンドではこのインターフェースを通じてRPCサーバー経由で利用可能なNCCLサポートが追加され、複数ノードにまたがるテンソル並列処理に対応しています。また、SYCLでのデータ交換処理 ggml_sycl_comm_exchange() の追加や、Vulkanにおけるホスト共有バッファからのテンソル並列allreduce機能など、マルチGPUおよび分散環境での実行効率を高める機能が揃えられています。
OCP FP8 E4M3対応と新しいFlash Attention演算子 新しいデータ型として GGML_TYPE_F8_E4M3(OCP FP8 E4M3)およびfloat変換ヘルパーが追加されました。あわせて、各クエリスライスがインデックステンソルを用いて独自のKey/Value行リストを参照しアテンション計算を行う ggml_flash_attn_ext_rows() 演算子が導入されています。この演算子はCPU、CUDA、Metalの各バックエンドで実装されており、複数シーケンスを効率的に処理できます。
GGUFの直接書き込みとAppleプラットフォームでのメモリ割り当て改善 コア機能の改善として、GGUFライターがホストバッファ上のテンソルデータを中間コピーなしで直接出力ストリームへ書き込めるゼロコピー処理に対応しました。これにより、エクスポート時の書き込み効率が向上します。また、Appleプラットフォームにおける大規模なメモリ割り当てについて、従来の posix_memalign から vm_allocate を使用する方式へ変更されました。さらに、IQ4量子化処理では事前に計算された中間点を用いることで生成速度の向上を図っています。
CPUおよびGPUバックエンドの性能改善 各ハードウェア環境に向けたカーネルの最適化が実施されています。CPUバックエンドでは、256ビットSVEを活用したMXFP4 GEMV、Q6_K GEMM、q8_0 4×8 GEMVカーネルが追加されました。CUDAバックエンドでは、MMQにおいてMoEのgate/upプロジェクションとGLUの融合処理が実装されています。SYCLではIntel XMX向けの量子化KVキャッシュ(q4_0/q8_0)に対応したDPAS Flash Attentionカーネルが追加され、MetalではMXFP4の行列・ベクトル積演算が高速化されました。OpenCLバックエンドでもQ2_0、IQ1、IQ2、IQ3、IQ4_XSといった量子化形式でGEMV/GEMMサポートが拡張されています。
各種バックエンドにおける不具合の修正 計算精度の誤りや予期せぬ動作を防止する修正が行われています。CUDAバックエンドでは、MMQにおけるQ8_1補正和の計算不具合やCUDAグラフの誤った事前解放の問題が修正されました。Metalバックエンドでは、第0次元で非連続な転送先に対するcpyカーネルの不具合が解決されています。VulkanバックエンドではNVFP4 UE4M3スケール参照時の範囲外アクセスが修正されたほか、SYCLにおけるf32からq2_0/q4_0/q5_0への丸め処理の修正やFLASH_ATTN_EXTの動作不具合などが修正されています。
対応モデル・ハードウェア
新しいデータ型 GGML_TYPE_F8_E4M3 (OCP FP8 E4M3) が導入されたことにより、FP8形式を用いた計算が可能になります。また、OpenCLバックエンドにおいて、Q2_0、IQ1、IQ2、IQ3、IQ4_XSといった量子化形式でのGEMV/GEMMサポートが拡張されました。
ハードウェア面では、以下の最適化が含まれています。
– CPU: 256ビットSVEを活用したMXFP4 GEMV、Q6_K GEMM、q8_0 4×8 GEMVカーネルの追加。
– CUDA: CDNAにおけるsparse attentionの有効化。
– SYCL: Intel XMX向けの量子化KVキャッシュ(q4_0/q8_0)に対応したDPAS flash attentionカーネルの追加。
– Metal: MXFP4 mat-vecの高速化。
– Vulkan: RDNA3およびRDNA4におけるsmall-n split-K選択の改善。
– Hexagon: LIGHTNING_INDEXER、TOP_K_MASK、UPSCALE、CONV_2D、DSV4_HC_PRE/POSTなどの新しい演算子への対応。
アップデート方法
ソースからビルドする場合は、以下の手順で行うことができます。
git clone https://github.com/ggml-org/ggml
cd ggml
mkdir build && cd build
cmake..
cmake --build. --config Release -j 8
関連記事
- ggml v1.0.0リリース:API整理と各バックエンドの最適化まとめ
- ggml v0.27.0公開:RPCテンソル並列と主要バックエンドの高速化
- テンソルライブラリ「ggml v0.23.0」公開:スパースアテンションと非同期RPCに対応
- ggml v0.28.0 リリース: MoE高速化と疎アテンション用新演算を追加
次に読むなら
- このツールの更新を追う → ggml の概要とリリース履歴(記録済み45版)
- 同じ分類(量子化・モデル形式・ファインチューニング)の他のツール → ExLlamaV3 / Unsloth

