エンジン・ツール

推論基盤ライブラリ「ggml v0.26.0」公開、各バックエンドの最適化と対応拡大

llama.cppの基盤となるC++製テンソルライブラリ「ggml v0.26.0」が公開されました。Vulkan/SYCL/MetalのスパースFlash Attention最適化やWebGPUの量子化形式追加、各ハードウェアの高速 ...