「K2-Horizon-32B-NVFP4」長文・推論対応モデル:当サイトでの回答例・必要VRAM 32GB〜
NVIDIA Blackwell世代向けに最適化された32Bのオープンウェイトモデル「IFM/K2-Horizon-32B-NVFP4」のスペックや推論性能、vLLM・SGLangでの利用方法を解説します。
「K2-Horizon-375B-A23B-NVFP4」NVFP4量子化の巨大MoEモデル:必要メモリ約257GB
IFMは、375BパラメータのMoEモデル「K2-Horizon-375B-A23B」のNVFP4量子化版を公開しました。Blackwell世代GPU向けの高効率な推論と主なスペック、ベンチマーク性能を解説します。