ggml v0.28.0 リリース: MoE高速化と疎アテンション用新演算を追加
機械学習ライブラリggml v0.28.0が公開。CUDAでのMoE最適化、疎アテンション向けGGML_OP_TOP_K_MASKの追加、SYCLやOpenCL等のバックエンド強化により、ローカルLLM推論の高速化を実現します。
手元で動くオープンウェイトモデルの新着・早見表・実測データ
機械学習ライブラリggml v0.28.0が公開。CUDAでのMoE最適化、疎アテンション向けGGML_OP_TOP_K_MASKの追加、SYCLやOpenCL等のバックエンド強化により、ローカルLLM推論の高速化を実現します。