exllamav3 v1.4.7リリース：CPU MoE性能改善とDRYサンプラー追加
推論ライブラリ「exllamav3 v1.4.7」が公開されました。CPUでのMoEモデルのパフォーマンス改善や、DRYサンプラーの追加、Trellis量子化の高速化などの変更点と導入方法を解説します。
NVIDIA PAIR仮想推論ルーター公開、ローカル計算資源を拡張
NVIDIAが公開した仮想推論ルーター「NVIDIA PAIR (Personal AI Router)」のベータ版について解説。ローカルネットワーク上の複数PCやGPUを活用し、マルチエージェント環境の推論ボトルネックを解消する方法 ...
テンソルライブラリ「ggml v0.23.0」公開：スパースアテンションと非同期RPCに対応
機械学習用テンソルライブラリ「ggml v0.23.0」がリリースされました。スパースアテンション、非同期RPCスタックの拡張、CUDAやMetalなど各GPUバックエンドの最適化内容を解説します。
SGLang v0.5.19リリース：Qwen3.8や新規拡散モデルに対応
SGLang v0.5.19がリリース。Qwen3.8や各種拡散モデルへの対応、ビームサーチ機能の追加、DeepEP v2の導入、AMD GPU向け最適化などのアップデート内容を解説します。