ExLlamaV3 1.5.0リリース:MoEモデル推論の高速化と新機能
ローカルLLM推論ライブラリ「ExLlamaV3 1.5.0」が公開。MoEモデルの推論速度向上やLinux向けCPUオフロードの高速化、Nemotron-3-Superのサポートなどのアップデート内容を解説します。
ExLlamaV3 v1.4.9リリース:CPUオフロード高速化と新モデル対応
ローカルLLM推論ライブラリ「ExLlamaV3 v1.4.9」が公開。CPUオフロードの高速化、Intel AVX512BWサポート強化、DeepSeekV4やGLM4等の新アーキテクチャ対応が行われています。
推論エンジンの更新とQwopus等の実用GGUFモデル登場
ggml v0.23.0やExLlamaV3などの推論エンジンアップデートと、QwopusやK2-Horizon-MoVAのGGUF版公開など、ローカルAIの最新動向をまとめます。
ExLlamaV3 1.4.8リリース:VRAM最適化とFA-2コードパスの削除
LLM推論ライブラリ「ExLlamaV3 1.4.8」がリリース。デフォルトのVRAM割り当て変更やFlash Attention 2コードパスの完全削除、特定モデルの量子化キャッシュ追加を解説。
exllamav3 v1.4.7リリース:CPU MoE性能改善とDRYサンプラー追加
推論ライブラリ「exllamav3 v1.4.7」が公開されました。CPUでのMoEモデルのパフォーマンス改善や、DRYサンプラーの追加、Trellis量子化の高速化などの変更点と導入方法を解説します。