GLM

GLMが10万台超の中国製AIアクセラレータを用いた独自推論インフラと「GLM-5.3-Flash」の稼働を発表。さらに744B MoEモデルをMacBookで動かすNVMeストリーミング手法も解説します。

ローカルLLM推論ライブラリ「ExLlamaV3 v1.4.9」が公開。CPUオフロードの高速化、Intel AVX512BWサポート強化、DeepSeekV4やGLM4等の新アーキテクチャ対応が行われています。