「Maxwell-V1-Flash-GGUF」35BのMoEモデル:必要VRAM 24GB〜
AtomicChatが公開したMaxwell-V1-FlashのGGUF版について、量子化の種類や必要なllama.cppのカスタムパッチ、推論時の注意点を解説します。
手元で動くオープンウェイトモデルの新着・早見表・実測データ
AtomicChatが公開したMaxwell-V1-FlashのGGUF版について、量子化の種類や必要なllama.cppのカスタムパッチ、推論時の注意点を解説します。