「K2-Horizon-MoVA-36B-A4B-GGUF」テキスト生成モデル：必要VRAM 32GB〜

2026年9月6日2026年10月30日

基本情報

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

当サイトで確かめたこと

• GPU の無い当サイトのサーバー(Neoverse-N1・3スレッド・llama.cpp b11856)で K2-Horizon-MoVA-36B-A4B-Q2_K.gguf(Q2_K)を動かし、生成は 5.0 トークン/秒でした(CPU での値で、GPU の速さの目安ではありません)。
• 固定の日本語の質問への回答を、下に原文のまま載せています。
• Qwen3 のトークナイザより約18%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.22倍になり、生成も1字あたりで速くなります。

詳しい値と条件は、下の「当サイトでの実測」の節にあります。

概要

IFMは、Mixture-of-Values attention (MoVA) を採用したMoEモデル「K2-Horizon-MoVA-36B-A4B」のGGUF版を公開しました。本リポジトリには llama.cpp で利用するためのGGUFファイルが含まれており、モデルテンソルはオリジナルのBF16プレシジョンで保存されています。

スペック

• パラメータ数: 総パラメータ数 36B、活性パラメータ数 4B
• アーキテクチャ: MoE (Mixture-of-Experts) と Mixture-of-Values attention (MoVA)
• コンテキスト長: 524,288トークン (ネイティブ)
• ライセンス: apache-2.0

性能

公開元のモデルカードに基づくベンチマーク測定結果は以下の通りです。ここでは比較対象を一部（K2-Horizon-MoVA-36B-A4B、Nemotron 3 Ultra、Qwen3.6-35B-A3B、Muse Glimmer-30B、Gemma 4 31B-it）に絞って掲載します。

※上記は元モデルの性能数値です（量子化によって多少の劣化が生じる可能性がある点に注意）。

公開元の測定では、エージェント系のタスクである Terminal-Bench 2.1 で58.6を記録し、比較対象の中で最も高いスコアを示しています。また、tau3-Banking Agentic tool use でも26.8と高水準をマークしています。一方で、SciCode Scientific coding や科学の難問を測る GPQA Diamond、長文読解の AA-LCR では、Muse Glimmer-30B や Nemotron 3 Ultra などの他モデルに及ばない項目も見られます。全体として、活性パラメータ4Bという小規模な構成でありながら、一部のエージェントや推論タスクにおいて大規模なモデルに匹敵あるいは勝る結果を示しています。

得意なこと・想定用途

元モデルは、エージェントおよび推論ベンチマークにおいて高い性能を発揮するよう設計されたスパース型のMoEモデルです。ネイティブで512K（524,288トークン）の長文コンテキストに対応しており、長文読解やエージェント用途に向いています。また、ツール呼び出し機能や推論パーサー（k2_horizon）を備えています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 37.4B(元モデル IFM/K2-Horizon-MoVA-36B-A4B の値)

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q5_K_M は実測 5.64 bit/weight で、元の16bitの重みの約35%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込み・動かして確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。

実測から分かったこと

IFM/K2-Horizon-MoVA-36B-A4B-GGUFをCPUで動かしたところ、4bitでは大きすぎるため低いビット数であるQ2_Kに下げて計測を行いました。生成速度は1秒あたり5.02トークン、日本語の字数に直すと1秒あたり8.9字であり、同じ条件で測ったQwopus3.8-27B-Flashの1秒あたり0.94トークンやvectionlabs_Salience-27B-R6の1秒あたり0.87トークンと比べて速い値が出ています。ピーク時のメモリは14.9GBでした。

日本語のトークン効率については、日本語1000字あたりのトークン数が565であり、比較対象としたQwen3の688トークンよりも少なく、同じ文脈長により長い日本語が入る効率になっています。同じ内容の英文に対するトークン数の比は1.04でした。

一方で、日本語の5問への回答を試みたところ、要約、取引先への敬語のメール、買い物の文章題、海に面していない県を挙げる知識問題、春の俳句を3つのすべての問いにおいて、回答が得られず上限の1024トークンで途中で打ち切られる結果となりました。

日本語のトークン効率

Qwen3 のトークナイザより約18%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.22倍になり、生成も1字あたりで速くなります。

IFM/K2-Horizon-MoVA-36B-A4B の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。

GGUFファイルの中身

対象: K2-Horizon-MoVA-36B-A4B-Q4_K_M.gguf(20.83GB、Q4_K_M)。ファイルの先頭のメタデータだけを読んで確かめました(重みはダウンロードしていません)。

ファイル名の量子化名はファイル全体の呼び名で、実際には層ごとに型が混ざっています。平均のビット数は、ファイルのデータの大きさを重みの数で割った実測値です。

CPUだけで動かした結果

条件: Neoverse-N1 の3スレッド・GPUなし・llama.cpp b11856・bartowski/K2-Horizon-MoVA-36B-A4B-GGUF の Q2_K(12.64GB)・2026-10-30に測定しました。4bit 前後のファイルは当サイトの上限(13GB)に収まらないため、ビット数の低い Q2_K で測りました(4bit より品質は下がります)。 同じ条件で測った他のモデル(ファイルの大きさが近い順):

ピーク時のメモリは、ファイルをメモリに割り当てた分(mmap)を含みます。GPUのあるPCではこれより大幅に速くなります。ミニPC・ARMのボードなど、CPUだけで動かす環境の目安です。

実行したコマンド

llama.cpp の公式配布 llama-b11856-bin-ubuntu-arm64.tar.gz(リリースのページ)を使い、次のファイルを落としました。

https://huggingface.co/bartowski/K2-Horizon-MoVA-36B-A4B-GGUF/resolve/main/K2-Horizon-MoVA-36B-A4B-Q2_K.gguf

速度(llama-bench):

nice -n 10 ./llama-bench -m K2-Horizon-MoVA-36B-A4B-Q2_K.gguf -t 3 -p 512 -n 128 -r 2 -o json

回答: llama-server を次のように起動し(ポートは空いている番号を毎回選んでいます。ここでは 8080)、質問ごとに /v1/chat/completions へ次の本文を送りました(変わるのは質問の文だけです。例は敬語のメールの問い)。

nice -n 10 ./llama-server -m K2-Horizon-MoVA-36B-A4B-Q2_K.gguf -t 3 -c 4096 --jinja --host 127.0.0.1 --port 8080 --no-mmproj

curl -s http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d @- <<'EOF'
{
  "messages": [
    {
      "role": "user",
      "content": "取引先の担当者に、来週火曜日の打ち合わせを水曜日に変更してほしいとお願いするメールを、丁寧な敬語で書いてください。"
    }
  ],
  "temperature": 0,
  "seed": 0,
  "max_tokens": 1024,
  "chat_template_kwargs": {
    "enable_thinking": false
  }
}
EOF

日本語の質問への回答(原文のまま)

上の条件で、全モデルに同じ5問を日本語で尋ねた回答を、手を加えずに載せています(温度0・チャットテンプレートが対応していれば思考なし・最大1024トークン)。正誤は判定していません。答えが1つに決まる問いには、正解を併記します。

要約

次の記事を3文で要約してください。

みどり市は今年の春、市内に三つある公立図書館のうち最も古い中央図書館の改修を終え、十月一日に再開館した。改修は約一年半にわたり、総事業費は約十二億円。このうち約四億円は国の補助金でまかなわれた。

最大の変化は、閲覧席の配置である。以前は館内の座席の大半が学習用の机で、試験期間になると中高生で埋まり、高齢の利用者や小さな子ども連れが座れないという苦情が毎年寄せられていた。改修後は座席数を百二十席から二百席に増やしたうえで、学習用の机を三階にまとめ、一階は会話ができる「にぎわいフロア」、二階は静かに本を読む「閲覧フロア」に分けた。一階には予約制のグループ学習室が四室と、飲み物を持ち込めるカフェスペースも設けられた。

蔵書の面でも見直しが進んだ。貸出の少ない古い資料約三万冊を市内の他の館や保存書庫に移し、代わりに子ども向けの絵本と、介護・子育て・仕事探しといった暮らしに関わる実用書を約一万五千冊増やした。電子書籍の貸出サービスも始まり、利用登録をすれば自宅から一度に三冊まで、二週間借りられる。

建物そのものにも手が入った。築四十年を超えていた空調設備を入れ替え、屋上には太陽光パネルを設置して、館内で使う電力の約二割をまかなえるようにした。車いすの利用者から要望の多かったエレベーターは一基から二基に増え、書架の間の通路も以前より三十センチ広げられた。入口には段差のないスロープが新たに設けられ、授乳室と多目的トイレも各階に一つずつ置かれた。

一方で課題も残る。駐車場は改修前と同じ四十台のままで、週末には近くの道路に順番待ちの車が並んだ。市は隣接する市有地を臨時駐車場として開放したが、恒久的な対策は決まっていない。また、開館時間を平日の夜九時まで延ばしたことで職員の負担が増えており、職員団体は人員の追加を求めている。

利用者の受け止めはおおむね好意的だ。週に二度、孫を連れて来るという七十代の女性は「前は子どもが声を出すと周りの目が気になったが、一階なら気兼ねなく絵本を読んであげられる」と話す。一方、受験を控えた高校生の中には「学習席が三階だけになり、夕方はすぐに満席になる」と不満を漏らす人もいる。図書館は、学習席の空き状況をホームページで確認できる仕組みを年内に導入する予定だ。

再開館に合わせて、催しも増えた。毎週土曜の午前には読み聞かせ会、月に一度は地元の農家や商店主を講師に招く「まちの先生」講座が開かれる。十一月には、市内の中学生が選んだ本を紹介する展示も予定されている。

館長の山本和子さんは「本を借りる場所から、人が集まって過ごす場所へ変えたかった。再開館からの一か月で来館者は以前の一・八倍になった」と話す。市は来年度、残る二つの図書館についても利用者への聞き取りを行い、改修の必要性を検討する方針だ。

(思考だけで上限に達し、回答は出ませんでした)

敬語のメール

取引先の担当者に、来週火曜日の打ち合わせを水曜日に変更してほしいとお願いするメールを、丁寧な敬語で書いてください。

(思考だけで上限に達し、回答は出ませんでした)

文章題

りんごが1個120円、みかんが1個45円です。りんごを3個とみかんを8個買って、1,000円札で払いました。おつりはいくらですか。考え方も示してください。

(思考だけで上限に達し、回答は出ませんでした)

参考: 正解は280円です(120×3=360円、45×8=360円、1,000−720=280円)。

知識

日本の都道府県のうち、海に面していない県をすべて挙げてください。

(思考だけで上限に達し、回答は出ませんでした)

参考: 正解は8県です(栃木県・群馬県・埼玉県・山梨県・長野県・岐阜県・滋賀県・奈良県)。

指示どおりの創作

「春」をテーマにした俳句を3つ、五・七・五の音数を守って作ってください。それぞれに一言の説明を付けてください。

(思考だけで上限に達し、回答は出ませんでした)

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

入手方法

GGUF版のファイルは Hugging Face のリポジトリから入手可能です。利用にあたっては、K2 Horizonアーキテクチャのサポートを含むバージョンの llama.cpp が必要となります（MBZUAI-IFMのフォークリポジトリ等が案内されています）。

派生版・量子化版

各リポジトリの量子化とファイルサイズ:

• bartowski/K2-Horizon-MoVA-36B-A4B-GGUF の量子化: IQ2_XXS 9.9GB / IQ2_XS 10.9GB / IQ2_S 11.2GB / IQ2_M 12.2GB / Q2_K 12.6GB / IQ3_XXS 14.7GB / Q3_K_S 15.6GB / IQ3_XS 16.1GB / Q3_K_M 16.2GB / Q3_K_L 16.6GB / IQ3_M 16.7GB / IQ4_XS 19.0GB / IQ4_NL 20.1GB / Q4_0 20.1GB / Q4_K_S 20.5GB / Q4_K_M 21.1GB / Q4_K_L 21.6GB / Q4_1 22.1GB / Q5_K_S 24.2GB / Q5_K_M 24.9GB / Q6_K 29.9GB / Q6_K_L 30.2GB / Q8_0 37.1GB / BF16 69.8GB

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

• 「K2-Horizon-32B-NVFP4」長文・推論対応モデル：当サイトでの回答例・必要VRAM 32GB〜
• 「K2-Horizon-375B-A23B-NVFP4」NVFP4量子化の巨大MoEモデル：必要メモリ約257GB

次に読むなら

• GPUのVRAMから探す(このモデルは32GBの階層から動きます) → VRAM別 ローカルモデル早見表
• 同じモデル系統を調べる → K2-Horizon 系統のまとめ(記事3本・変換版1件)
• このモデルを動かすエンジンを調べる → llama.cpp / Ollama
• 入手できる形式と、表に出てくる Q5_K_M・Q8_0 の意味を知る → GGUF形式の解説と対応モデル / 量子化・モデル形式の用語集
• 公開元について調べる → IFM(MBZUAI) のモデル・ライセンス・記事のまとめ

出典

• https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B-GGUF
• https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B

更新履歴

• 2026-09-23: 記事の組み立てを更新しました: GGUF量子化版のビルド重複合算バグを修正(必要メモリ・VRAM早見表)
• 2026-09-24: 記事の組み立てを更新しました: 「手元で動かせるか」の判定(配布形式・変換版・推論エンジンの登録表・ライセンス・実測の圧縮率)を追加
• 2026-09-25: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。
• 2026-09-28: 当サイトでの実測(日本語のトークン効率・GGUFファイルの中身)を追加しました。
• 2026-09-30: 当サイトでの実測(配布元のコードで動かしたVRAMと日本語の質問への回答)を追加しました。
• 2026-09-30: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。
• 2026-10-08: 変換版を「派生版・量子化版」に追記しました: bartowski/K2-Horizon-MoVA-36B-A4B-GGUF
• 2026-10-12: 当サイトでの実測(GPUでの速度・VRAMと日本語の質問への回答)を追加しました。
• 2026-10-30: 当サイトでの実測(CPUでの速度と日本語の質問への回答)を追加しました。
• 2026-10-30: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。