NVIDIA AIPerf公開：大規模LLM推論ベンチマークツール
NVIDIAが大規模LLM推論の性能測定ツール「NVIDIA AIPerf」を発表。マルチプロセス構成による高並行環境の正確なベンチマーク測定手順を解説します。
ローカルAI実行エンジン「LocalAI v4.10.0」公開、ダッシュボード刷新
オープンソースのローカルAI実行エンジン「LocalAI v4.10.0」が公開。フリート運用ダッシュボードやCLIベンチマーク機能の追加、Apple M5の起動修正などを解説します。
DeepSeek-V4.1-FlashとMiniCPM5-2Bの登場：週次オープンモデルまとめ
DeepSeek-V4.1-FlashやMiniCPM5-2Bなどの新型モデルの公開、vLLM v0.29.0やUnslothのアップデートなど、ローカル推論・学習環境の最新動向を振り返ります。
OpenBMB、2BクラスでSOTAを達成したオンデバイスモデル「MiniCPM5-2B」公開
OpenBMBが公開した2Bクラスのオンデバイス向け大規模言語モデル「MiniCPM5-2B」のスペック、ベンチマーク性能、動作環境、利用方法を解説します。