Quantization

3値大規模言語モデルの重み分布の偏りに着目し、1.485ビット/重みを達成した研究「Breaking the 1.58-bit Barrier for Ternary LLMs」の概要とコミュニティの議論を紹介します。