エンジン・ツール

ExLlamaV3 1.5.0リリース:ローカルLLM推論ライブラリのアップデート手順

ローカルLLM推論ライブラリ「ExLlamaV3 1.5.0」が公開。MoEモデルの推論速度向上やLinux向けCPUオフロードの高速化、Nemotron-3-Superのサポートなどのアップデート内容を解説します。

エンジン・ツール

ExLlamaV3 v1.4.9リリース:新モデル対応とCPUオフロード高速化

ローカルLLM推論ライブラリ「ExLlamaV3 v1.4.9」が公開。CPUオフロードの高速化、Intel AVX512BWサポート強化、DeepSeekV4やGLM4等の新アーキテクチャ対応が行われています。

週次まとめ

推論エンジンの更新とQwopus等の実用GGUFモデル登場

ggml v0.23.0やExLlamaV3などの推論エンジンアップデートと、QwopusやK2-Horizon-MoVAのGGUF版公開など、ローカルAIの最新動向をまとめます。

エンジン・ツール

ExLlamaV3 1.4.8リリース:VRAM最適化とFA-2コードパス完全削除

LLM推論ライブラリ「ExLlamaV3 1.4.8」がリリース。デフォルトのVRAM割り当て変更やFlash Attention 2コードパスの完全削除、特定モデルの量子化キャッシュ追加を解説。

エンジン・ツール

exllamav3 v1.4.7リリース:CPU MoE性能の改善とDRYサンプラー追加

推論ライブラリ「exllamav3 v1.4.7」が公開されました。CPUでのMoEモデルのパフォーマンス改善や、DRYサンプラーの追加、Trellis量子化の高速化などの変更点と導入方法を解説します。