ggml v0.24.0リリース:精度制御APIの追加とバックエンド強化

2026年10月28日

ggml v0.24.0リリース:精度制御APIの追加とバックエンド強化

基本情報

項目 内容
リポジトリ ggml-org/ggml
版 v0.24.0
公開日 2026-09-14
ライセンス MIT
出典の種類 公開元の一次情報(公式GitHubリリースページが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-org/ggmlのv0.24.0がリリースされました。ggmlは機械学習向けのテンソルライブラリ(C++製、MITライセンス)であり、多くのローカルLLM推論エンジンの基盤として使われています。

今回のバージョンはバックエンドのカバレッジと堅牢性の拡張に焦点を当てており、新しい精度制御APIの導入や、Vulkan、SYCL、Hexagon、OpenCLなどの大幅なバックエンドの改善、各バックエンドにおける多数の修正とパフォーマンス改善が含まれています。

主な変更点

  • 新しい精度制御APIとして ggml_prec が拡張され、GGML_PREC_BF16、F16、Q8、Q4 が追加された(GGML_PREC_DEFAULT は非推奨化)
  • MUL_MAT や MUL_MAT_ID、フラッシュアテンションの精度を制御するための ggml_prec_set_acc() と ggml_prec_set_src() が追加され、従来の ggml_mul_mat_set_prec() や ggml_flash_attn_ext_set_prec() は非推奨となった
  • バックエンドスケジューラーの変更により、バックエンド入力に対する余計な分割が行われないようになり、サイズが0のMoE ids テンソルがスキップされるようになった
  • ビルド時間を短縮するため、PCH(プリコンパイル済みヘッダー)およびunity-buildのサポートが追加された

対応モデル・ハードウェア

  • CPU: s390xにおける q4_0 と Q1_0 ベクトルイントリンシックスのリパックサポート、VXE専用ヘルパーのガード、非VXEテストが追加された
  • CUDA / HIP / MUSA: AMD GCN向けの専用MMQ設定テーブルとgfx90c HIPサポートが追加されました。BF16のハードウェアアクセラレーションがないデバイスではF32にフォールバックするようになり、gfx1201向けのフラッシュアテンションのチューニングが行われました
  • Metal: M2 MaxおよびM3向けのフラッシュアテンションのベクトルチューニングが追加された
  • Vulkan: TQ1_0および iq4_xs のサポート、タイプアラインされた GET_ROWS、f16 Bタイプの行列積パイプライン、DeepSeek-V4のハイパーコネクション融合演算などが追加された
  • OpenCL: Adreno xmem SDPAパスの追加や、A8 q4_0/q4_K バイナリGEMMカーネルの追加が行われた
  • SYCL: radix-selectによる top_k、バッチ処理の L2_NORM、MoE向けのIQタイプハンドリングが追加された
  • Hexagon: マルチデバイスモデル分割(row-split)サポートと、RELU および LEAKY_RELU 演算が追加された
  • WebGPU: Dawnの更新とタイプアラインされた GET_ROWS のサポートが追加された

アップデート方法

ソースコードからビルドする場合は、以下のコマンドを実行します。

git clone https://github.com/ggml-org/ggml
cd ggml

mkdir build && cd build
cmake..
cmake --build. --config Release -j 8

関連記事

次に読むなら

出典