CUDA

LLM推論エンジンllama.cpp v0.6.0が公開。llama_batch_extの導入、Metalバックエンドの大幅な高速化、GLM-5.3-Flashなどの新モデルサポートについて解説します。

オープンソースのC++製テンソルライブラリ「ggml v0.25.2」が公開されました。CUDA、Vulkan、OpenCL、Hexagonバックエンドの最適化や不具合修正が行われています。

C/C++ LLM推論ライブラリllama.cpp v0.5.0が公開。CUDAのconv2d加速やMetalでのMoE最適化、マルチアドレス対応サーバー機能の拡張などを詳しく解説。

単一ファイルでLLMを実行できる「llamafile」のバージョン0.10.6がリリース。llama.cppのb10441への更新やCUDA/HIPのグラフ機能有効化、セキュリティ強化などの変更点を解説します。

機械学習テンソルライブラリggmlのv0.24.0がリリース。新しい精度制御APIの導入や、Vulkan、CUDA、Metalなど各種バックエンドの改善・パフォーマンス向上の詳細をお伝えします。

LLM推論ライブラリ「ExLlamaV3 1.4.8」がリリース。デフォルトのVRAM割り当て変更やFlash Attention 2コードパスの完全削除、特定モデルの量子化キャッシュ追加を解説。

機械学習用テンソルライブラリ「ggml v0.23.0」がリリースされました。スパースアテンション、非同期RPCスタックの拡張、CUDAやMetalなど各GPUバックエンドの最適化内容を解説します。