LLM

DeepSeekが次世代モデル「V4.1 Flash」を発表。V4 Proを上回る性能と低価格化を実現した話題のオープンウェイトモデルの機能やコミュニティでの議論を解説します。

推論エンジンvLLM v0.29.0が公開。すべてのモデルでModel Runner V2がデフォルト化されたほか、起動コマンドの変更やモデル削除などの破壊的変更、新モデル対応を解説します。

Qwen3.8 27BのGGUF量子化モデルにおける性能検証結果を解説。4bitでは性能が維持される一方、1bitで崩壊する非線形な低下やVRAM制約と量子化の境界線を技術者向けに速報。

Unsloth v0.1.807-betaがリリース。AMD環境でのVulkanデフォルト採用による推論高速化や、Apple SiliconでのMLX学習効率向上、パッケージ軽量化などの変更点を解説。

OpenBMBが公開した2Bクラスのオンデバイス向け大規模言語モデル「MiniCPM5-2B」のスペック、ベンチマーク性能、動作環境、利用方法を解説します。

LLM推論ライブラリ「ExLlamaV3 1.4.8」がリリース。デフォルトのVRAM割り当て変更やFlash Attention 2コードパスの完全削除、特定モデルの量子化キャッシュ追加を解説。

推論ライブラリ「exllamav3 v1.4.7」が公開されました。CPUでのMoEモデルのパフォーマンス改善や、DRYサンプラーの追加、Trellis量子化の高速化などの変更点と導入方法を解説します。

Qwen3.8-27Bをベースにしたエージェント向けファインチューンモデル「Jackrong/Qwopus3.8-27B-Flash-GGUF」のスペックや性能、動作環境を解説します。

SGLang v0.5.19がリリース。Qwen3.8や各種拡散モデルへの対応、ビームサーチ機能の追加、DeepEP v2の導入、AMD GPU向け最適化などのアップデート内容を解説します。