「K2-Horizon-375B-A23B-NVFP4」NVFP4量子化の巨大MoEモデル：必要メモリ約257GB

2026年11月8日

「K2-Horizon-375B-A23B-NVFP4」NVFP4量子化の巨大MoEモデル：必要メモリ約257GB

基本情報

項目 内容
リポジトリ IFM/K2-Horizon-375B-A23B-NVFP4
まとめページ K2-Horizon のまとめ(記事3本)
公開元のまとめ IFM(MBZUAI) のモデルとライセンスのまとめ
公開日 2026-09-22
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(HuggingFace公式リポジトリが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

当サイトで確かめたこと

  • Qwen3 のトークナイザより約18%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.22倍になり、生成も1字あたりで速くなります。

詳しい値と条件は、下の「当サイトでの実測」の節にあります。

概要

IFMは、MoE（Mixture-of-Experts）アーキテクチャを採用したフラッグシップモデル「K2-Horizon-375B-A23B」のNVFP4量子化版である「K2-Horizon-375B-A23B-NVFP4」を公開しました。このモデルは、routed-expertの線形層（重みおよび活性化）をNVFP4形式に量子化することで、メモリ使用量の削減と推論の高速化を実現しています。一方で、Attention、共有エキスパート、ルーター、最初の3つのDense層、およびlm_headはBF16の精度を維持しています。本モデルは、ネイティブにNVFP4をサポートするNVIDIA Blackwell世代（Bシリーズ）以降のGPUでの使用を想定しています。

スペック

  • 総パラメータ数: 375B
  • 活性パラメータ数: 23B
  • アーキテクチャ: MoE
  • コンテキスト長: 512K (524,288 tokens)

性能

NVFP4 vs. BF16

量子化による性能への影響については、モデルカードに記載された評価結果によれば、NVFP4版は元のBF16版と比較してわずかに性能が低下しています。具体的には、平均スコアが91.7から91.2へと低下しており、数学分野のGSM8Kでも96.06から95.53へと僅かに下がっています。しかし、この性能低下は極めて軽微であり、NVFP4対応ハードウェアにおけるメモリフットプリントの削減と推論速度の向上というメリットが、この僅かな精度差を補う設計となっています。

→ 横にスクロールできます

K2-Horizon-375B-A23B IFEval (Prompt) GSM8K MBPP MMLU-Pro GPQA-Diamond BBH (3-shot) AIME 26 (avg @ 32) Average
BF16 90.02 96.06 97.00 84.22 85.80 94.73 94.38 91.7
NVFP4 88.72 95.53 96.60 83.98 85.45 94.26 93.65 91.2

Benchmark Results

元モデルである「K2-Horizon-375B-A23B」の性能について、公開元の測定結果に基づき、主要な比較対象を絞った表を以下に示します。

→ 横にスクロールできます

K2-Horizon-375B-A23B Open-weight models / Nemotron 3 Ultra Open-weight models / Inkling (xhigh) Open-weight models / MiniMax-M3 Closed models / Claude Sonnet5 (max)
# Params 375B 550B 975B 428B —
# Activated params 23B 55B 41B 23B —
Architecture MoE MoE MoE MoE Closed
Agents
GDPVal-AA Real-world professional tasks (Elo) 1,441 1,162 1,234 1,380 1,584
tau3-Banking Agentic tool use 34.0 14.2 29.1 15.3 37.3
Coding
Terminal-Bench 2.1 Agentic terminal use 70.2 53.9 55.1 65.2 80.5
SciCode Scientific coding 42.7 39.9 46.1 45.4 53.6
Scientific Reasoning
Humanity’s Last Exam (without tools) Expert-level reasoning 32.0 28.4 31.9 39.0 41.3
GPQA Diamond Graduate-level science QA 87.3 86.7 87.2 92.9 91.1
CritPt Frontier physics reasoning 8.6 3.1 5.4 3.7 16.9
General
AA-LCR Long-context reasoning 76.0 71.0 73.3 80.3 77.0
AA-Omniscience Accuracy Factual accuracy 23.0 23.0 42.0 17.0 40.0
AA-Omniscience Non-Hallucination Non-hallucination rate 74.7 70.0 32.0 82.0 61.0
Agentic Evaluations
Toolathlon Verified Agentic tool use 65.3 34.3 45.5 53.7 71.6
Automation Bench Public Workflow automation 25.3 8.0 12.8 20.5 34.7
Apex-Agents (pass@1) Long-horizon professional workflows 24.8 9.0 19.0 23.8 31.7
MCPMark MCP tool use 67.7 45.7 51.2 48.8 65.3
BrowseComp Deep web research 72.8 44.4 77.1 83.5 84.7
WildClawBench In-the-wild agentic tasks 50.9 34.2 52.3 56.4 —
SWE-Atlas-QnA Repo-level code Q&A (strict) 48.4 — 25.5 42.3 —
SWE Bench Pro Software engineering (strict) 42.6 38.7 43.1 43.8 —

この表から、本モデルはエージェント性能において非常に高い水準にあることが分かります。特に「Agents」カテゴリのGDPVal-AA（Elo）では1,441を記録しており、オープンウェイトのMoEモデルの中では極めて強力です。「Coding」分野のTerminal-Bench 2.1では70.2をマークしており、ターミナル操作を伴うエージェントタスクで高い能力を示しています。また、「Scientific Reasoning」のGPQA Diamondでも87.3という高いスコアを記録しています。

一方で、一部の指標ではクローズドモデルに及ばない場面も見られます。例えば、ToolathlonではClaude Sonnet5 (max)の71.6に対し、本モデルは65.3となっており、最高水準のクローズドモデルと比較すると、エージェントとしてのツール利用能力にはまだ改善の余地があることが示唆されています。しかし、自身のサイズに対して最大2.6倍の規模を持つオープンウェイトMoEモデルを凌駕する性能を見せており、非常に効率的なモデルと言えます。

得意なこと・想定用途

元モデルの特性に基づき、本モデルはエージェントとしての高度なタスク実行、コーディング、および長文読解に特化した能力を持っています。具体的には、以下のような用途での活用が想定されます。

  • エージェント・ツール利用: ターミナル操作や、複雑なワークフローを伴うエージェントタスク、MCP（Model Context Protocol）を用いたツール利用において高い性能を発揮します。
  • コーディング: ターミナル上での操作を伴うエージェント的なコーディングタスクや、リポジトリレベルでのコードに関するQ&A、ソフトウェアエンジニアリングタスクに適しています。
  • 科学的推論・高度な推論: 博士課程レベルの科学知識を問う問題や、専門家レベルの推論が必要なタスク、および数学的な推論にも対応しています。
  • 長文コンテキスト処理: 512K（524,288トークン）という非常に長いコンテキストウィンドウをネイティブにサポートしており、大量の情報を一度に扱うタスクが可能です。

また、モデルは「reasoning_effort="high"」の設定、温度（temperature）1.0、top_p 0.95といった特定のサンプリングパラメータでの使用が推奨されています。推論プロセス（Thinking）は reasoning_content として、最終的な回答は content として出力される仕組みを持っています。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
257GB超のVRAMが必要(複数GPUまたはCPUオフロードが前提) NVFP4 213.8GB 256.6GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-08 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。

公開元の配布は safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。現時点で動かすなら transformers(PyTorch)・vLLM で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込み・動かして確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。

日本語のトークン効率

トークナイザ 日本語1,000字あたりのトークン数 同じ内容の英文との比
このモデル 565 1.04倍
Qwen3 688 1.26倍
Llama 3.2 744 1.36倍
Gemma 3 564 1.03倍
gpt-oss 795 1.45倍
LLM-jp-3 497 0.85倍

Qwen3 のトークナイザより約18%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.22倍になり、生成も1字あたりで速くなります。

IFM/K2-Horizon-375B-A23B-NVFP4 の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。

入手方法

  • 配布形式: safetensors
  • 対応エンジン: vLLM, SGLang, Transformers

SGLangでの検証済みレシピやvLLMでのサービング方法が公開されています。なお、本モデルはApache 2.0ライセンスの下で公開されています。

関連記事

次に読むなら

出典

更新履歴

  • 2026-09-24: 記事の組み立てを更新しました: 「手元で動かせるか」の判定(配布形式・変換版・推論エンジンの登録表・ライセンス・実測の圧縮率)を追加
  • 2026-09-25: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。
  • 2026-09-28: 当サイトでの実測(日本語のトークン効率)を追加しました。

新モデルIFM,K2-Horizon,MoE,NVFP4,SGLang,vLLM,テキスト生成,確認済み