推論エンジンの更新とQwopus等の実用GGUFモデル登場
ggml v0.23.0やExLlamaV3などの推論エンジンアップデートと、QwopusやK2-Horizon-MoVAのGGUF版公開など、ローカルAIの最新動向をまとめます。
「K2-Horizon-MoVA-36B-A4B-GGUF」テキスト生成モデル：必要VRAM 32GB〜
IFMが公開したMoEモデル「K2-Horizon-MoVA-36B-A4B」のGGUF版について、スペックや動作環境、必要メモリの目安を解説します。
exllamav3 v1.4.7リリース：CPU MoE性能改善とDRYサンプラー追加
推論ライブラリ「exllamav3 v1.4.7」が公開されました。CPUでのMoEモデルのパフォーマンス改善や、DRYサンプラーの追加、Trellis量子化の高速化などの変更点と導入方法を解説します。
テンソルライブラリ「ggml v0.23.0」公開：スパースアテンションと非同期RPCに対応
機械学習用テンソルライブラリ「ggml v0.23.0」がリリースされました。スパースアテンション、非同期RPCスタックの拡張、CUDAやMetalなど各GPUバックエンドの最適化内容を解説します。
SGLang v0.5.19リリース：Qwen3.8や新規拡散モデルに対応
SGLang v0.5.19がリリース。Qwen3.8や各種拡散モデルへの対応、ビームサーチ機能の追加、DeepEP v2の導入、AMD GPU向け最適化などのアップデート内容を解説します。