ggml v1.0.0リリース:API整理と各バックエンドの最適化まとめ

ggml v1.0.0リリース:API整理と各バックエンドの最適化まとめ

基本情報

項目 内容
リポジトリ ggml-org/ggml
版 v1.0.0
公開日 2026-11-13
ライセンス MIT
出典の種類 公開元の一次情報(公式リポジトリのリリースページが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

機械学習向けのC++製テンソルライブラリであるggml-org/ggmlのメジャーバージョン「v1.0.0」がリリースされました。ggmlはMITライセンスで提供されており、各種ハードウェア上で効率的なモデル推論を実現するための基盤ライブラリとして広く活用されています。

本バージョンにおける最も大きな変更は、以前より非推奨とされていたパブリックAPIおよびレガシーな DIAG_MASK 演算子の整理と完全削除です。また、これに伴いRPCプロトコルが更新され、後方互換性のないピアとの接続を拒否する仕様に変更されました。旧仕様に依存した古いコードや分散推論環境を利用しているユーザーは、更新前に互換性の確認が必要です。

破壊的変更・非推奨

本リリースでは、非推奨とされていた旧APIや過去の互換性保持用演算子が削除されています。

変更前の機能 / オプション 変更後の扱い / 移行先
DIAG_MASK_INF / DIAG_MASK_ZERO 演算子 削除(新しい標準演算子へ移行)
非推奨のパブリックAPI 削除
RPCプロトコル(旧バージョン) v9へ昇格(互換性のないピア接続を拒否)

これらの変更は、削除された DIAG_MASK 演算子や旧APIを直接呼び出しているアプリケーションの開発者、およびRPCを用いたネットワーク分散推論を行っているユーザーに影響します。RPC機能を利用する際は、接続するすべてのピアをv1.0.0相当のバージョンに更新してください。

主な変更点

スケジューラとメモリ転送の最適化

コアのバックエンドスケジューラが改良され、読み取られない入力テンソルのアップロードを省略する変更が加えられました。また、前のスプリットで生成された入力のみを先行取得(プリフェッチ)する仕様へ最適化されています(llama/31419、llama/32100)。さらに、MoE(Mixture of Experts)キャッシュにおいて、キャッシュミスした計算の一部をCPU側で分担し、その結果を非同期でコピーして戻す機能が追加されました(llama/30966)。これにより、不要なデータ転送が防がれ推論時の全体的な応答性が向上します。

CUDAバックエンドの機能拡充と性能向上

NVIDIA GPU向けのCUDAバックエンドでは、バッチサイズ2〜24における少量行のMMQ(Matrix-Vector / Matrix Quantized)処理の最適化や、BF16向けのMMVFカーネルが追加されました(llama/31533、llama/31959)。また、OCP FP8フォーマットがサポートされたほか、MMQ内でGLUと結合したNVFP4 gate/up行列積カーネルが実装されています(llama/28413、llama/31296)。FlashAttentionにおいてもsm70向けのヘッドサイズ256設定やMMAのヘッドサイズ40/72への対応が広がっています(llama/27997、llama/30285)。

Metal・Vulkan・SYCLなど多種多様なバックエンドの強化

各種GPU・アクセラレータ環境に対する最適化も幅広く施されています。Metalバックエンドでは、DeepSeek-V4/V4.1やGLMのMoEルーティングの融合が行われ、融合可能なノードグループを1つのコマンドバッファ内に保持する高速化が適用されました(llama/31615、llama/31688)。VulkanではIntel向けのFlashAttentionプリフェルカーネル追加やRDNA3/4向けのラージタイルスプリットK最適化が実施され(llama/29357、llama/30280)、SYCLではデバイス側のMoEスケジューラが新設されています(llama/30156)。また、OpenCL環境におけるAdreno向けの分解FlashAttentionの追加(llama/32046)など、モバイル・エッジ環境でのデコード速度向上も図られています。

YaRN切り捨て設定と各種バックエンドへの統合

長文コンテキスト処理で使用されるYaRN補正の端数処理を柔軟に調整するため、ggml_rope_set_truncate および ggml_rope_get_truncate が導入されました(llama/30206)。この切り捨て設定(truncate)は、OpenVINO、SYCL、Vulkan、WebGPU、RPCといった複数の主要バックエンド全体へ均一にサポートが拡張されています(llama/30802)。長文対応モデルを幅広いハードウェア上で動作させる際の安定性と制御性が向上します。

対応モデル・ハードウェア

本バージョンでは、新しいデータ精度や量子化フォーマットへの対応をはじめ、各種アクセラレータやCPU命令セット向けのカーネル追加・最適化が広範囲に実施されています。利用するハードウェア環境に応じて推論速度の向上や対応モデルの拡張が期待できます。

量子化フォーマットと新精度のサポート拡張

NVIDIA GPU向けのCUDAバックエンドにおいてOCP FP8フォーマットおよびFP8 KVキャッシュが新たにサポートされました(llama/28413、llama/28392)。また、Hexagon DSP向けにはQ5_0およびQ5_1量子化形式が追加されています(llama/32094)。OpenCLバックエンドではq6_k tiled、q8_0、f32/q5_kマルチカラムGEMVカーネルが新設され、Adreno X2環境ではこれらが既定で有効化されました(llama/31758、llama/31694)。CPU向けでもSpacemiTのQ4_1 32×256 HPカーネルやIME2 MXFP4リパック、llamafileにおけるbf16およびq8_0 VXE実装が追加されています(llama/31929、llama/31776、llama/31866)。

GPU・各種アクセラレータへの最適化

各GPUアーキテクチャや専用アクセラレータに対する最適化が以下のように推進されています。

  • NVIDIA GPU (CUDA / ROCm): FlashAttentionにおいてSM70アーキテクチャでのヘッドサイズ256設定や、MMAのヘッドサイズ40/72への対応が追加されました(llama/27997、llama/30285)。また、AMD CDNA2 (gfx90a) 向けのMFMA lightning indexerの導入や、固定BLASワークスペースの採用によりROCm/HIP環境での処理効率化が行われています(llama/29050、llama/31838)。
  • Apple Silicon (Metal): DeepSeek-V4/V4.1およびGLMのMoEルーティング融合に対応しました(llama/31615)。融合可能なノードグループを単一のコマンドバッファ内に保持することで、制御オーバーヘッドが削減されます(llama/31688)。
  • Intel / AMD / Qualcomm (Vulkan / SYCL / OpenCL / Hexagon): Intel GPU向けにVulkanのFlashAttentionプリフェルカーネルが追加され(llama/29357)、SYCL環境ではAlchemist向けのfused SDPA (head_dim=64) の制約が解除されました(llama/31574)。AMD環境においては、RDNA3/4向けのラージタイルスプリットK最適化や、最新のAMDプロプライエタリドライバー(26.10.1+)での大型coopmat matmulが有効化されています(llama/30280、llama/31587)。Qualcomm環境ではAdreno向けに分解FlashAttentionが追加されたほか(llama/32046)、Hexagon DSPでのconv_2d最適化およびconv_3d対応が行われています(llama/31814)。

モデルアーキテクチャおよびプロセッサ対応

モデルアーキテクチャ面では、DeepSeek-V4/V4.1やGLMにおけるMoE層の融合処理に対応したほか、SpacemiT (RVV) プロセッサ向けのGATED_DELTA_NETのカーネルルーティングが追加されました(llama/31897)。また、ARM NEON環境での4×4 simd_gemmタイルの活用(llama/32128)や、Windows ARM64環境でのclang-clによるホストビルド対応(llama/32011)など、エッジやARM環境での動作性とパフォーマンスの双方が向上しています。

アップデート方法

ggml v1.0.0 をソースコードからビルドして導入する場合は、以下の手順を実行します。

git clone https://github.com/ggml-org/ggml
cd ggml

mkdir build && cd build
cmake..
cmake --build. --config Release -j 8

既存のビルド環境がある場合は、最新リポジトリを取得のうえ、v1.0.0 タグをチェックアウトして再コンパイルを行ってください。

関連記事

次に読むなら

出典