ggml

機械学習テンソルライブラリggmlのv0.24.0がリリース。新しい精度制御APIの導入や、Vulkan、CUDA、Metalなど各種バックエンドの改善・パフォーマンス向上の詳細をお伝えします。

ggml v0.23.0やExLlamaV3などの推論エンジンアップデートと、QwopusやK2-Horizon-MoVAのGGUF版公開など、ローカルAIの最新動向をまとめます。