MoE

8GBのVRAMを搭載した単一GPU上で動作し、データから破滅的忘却を起こさずに継続学習を行うバイトレベル言語モデル「mini-AGI」の概要やHacker Newsでの議論を解説します。

GLMが10万台超の中国製AIアクセラレータを用いた独自推論インフラと「GLM-5.3-Flash」の稼働を発表。さらに744B MoEモデルをMacBookで動かすNVMeストリーミング手法も解説します。

llama.cpp v0.4.1がリリース。モデルロード方式の変更やMaple 20B、Tencent Hy 4などの新モデルアーキテクチャのサポート情報を解説します。

DeepSeek-V4.1-FlashやMiniCPM5-2Bなどの新型モデルの公開、vLLM v0.29.0やUnslothのアップデートなど、ローカル推論・学習環境の最新動向を振り返ります。

ローカルLLM推論ライブラリ「ExLlamaV3 1.5.0」が公開。MoEモデルの推論速度向上やLinux向けCPUオフロードの高速化、Nemotron-3-Superのサポートなどのアップデート内容を解説します。

Edge0が公開した、35BクラスのスパースMoEモデル「Edge0-35B-A3B-preview」のスペック、ベンチマーク性能、動作環境を解説。4-bit量子化とストリーミング推論で省メモリ動作を実現。

NVIDIAが公開したDeepSeek-V4-ProのNVFP4量子化モデル「DeepSeek-V4-Pro-0813-nvfp4-DSpark」のスペックや推論環境について紹介します。

deepseek-aiが最大100万トークン対応のマルチモーダルMoEモデル「DeepSeek-V4.1-Flash」をHugging Faceに公開。スペックや動作環境を解説します。

推論エンジンvLLM v0.29.0が公開。すべてのモデルでModel Runner V2がデフォルト化されたほか、起動コマンドの変更やモデル削除などの破壊的変更、新モデル対応を解説します。

Nex-AGIがコンピュータ操作やウェブブラウジングなどの長期タスク向けに開発したマルチモーダルオープンウェイトモデル「Nex-N2.5-mini」のスペック、性能、動作環境を解説します。