ggml

機械学習テンソルライブラリggmlのv0.24.0がリリース。新しい精度制御APIの導入や、Vulkan、CUDA、Metalなど各種バックエンドの改善・パフォーマンス向上の詳細をお伝えします。

ggml v0.23.0やExLlamaV3などの推論エンジンアップデートと、QwopusやK2-Horizon-MoVAのGGUF版公開など、ローカルAIの最新動向をまとめます。

機械学習用テンソルライブラリ「ggml v0.23.0」がリリースされました。スパースアテンション、非同期RPCスタックの拡張、CUDAやMetalなど各GPUバックエンドの最適化内容を解説します。