「Aion-1.0-Instruct-2.3B-GGUF」2.3Bのテキスト生成モデル:必要VRAM 4GB〜
Microsoftの次世代Windows向けSLMとされるAion 1.0 Instruct 2.3BのGGUF版が公開。利用に必要なllama.cppのパッチ適用手順や量子化精度を解説します。
手元で動くオープンウェイトモデルの新着・早見表・実測データ
Microsoftの次世代Windows向けSLMとされるAion 1.0 Instruct 2.3BのGGUF版が公開。利用に必要なllama.cppのパッチ適用手順や量子化精度を解説します。