Quantization

3値大規模言語モデルの重み分布の偏りに着目し、1.485ビット/重みを達成した研究「Breaking the 1.58-bit Barrier for Ternary LLMs」の概要とコミュニティの議論を紹介します。

Qwen3.8 27BのGGUF量子化モデルにおける性能検証結果を解説。4bitでは性能が維持される一方、1bitで崩壊する非線形な低下やVRAM制約と量子化の境界線を技術者向けに速報。

推論ライブラリ「exllamav3 v1.4.7」が公開されました。CPUでのMoEモデルのパフォーマンス改善や、DRYサンプラーの追加、Trellis量子化の高速化などの変更点と導入方法を解説します。