Inkling 2 MiniのGGUF版が公開、1Mコンテキスト対応のMoEマルチモーダルモデル

2026年11月22日

Inkling 2 MiniのGGUF版が公開、1Mコンテキスト対応のMoEマルチモーダルモデル

基本情報

項目 内容
リポジトリ ggml-org/Inkling-2-Mini-GGUF
まとめページ Inkling-2 のまとめ(記事1本)
公開日 2026-11-20
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

当サイトで確かめたこと

  • Qwen3 のトークナイザより約17%多いトークンが要ります。同じ文脈長に入る日本語は約0.85倍(少なくなります)で、生成も1字あたりで遅くなります。

詳しい値と条件は、下の「当サイトでの実測」の節にあります。

概要

Thinking Machines Labが開発したマルチモーダル言語モデル「Inkling 2 Mini」のGGUF量子化版が、ggml-orgおよびAtomicChatによって公開されました。Inkling 2 Miniはテキストと画像を入力として受け取るlooped mixture-of-experts(MoE)モデルであり、ローカル環境での推論に配慮した設計がなされています。中間層を繰り返し評価する独自の構造を持つ点が特徴です。

スペック

  • パラメータ数:総パラメータ26.4B、活性パラメータ3.4B(ループ実行により実質5.4B)
  • アーキテクチャ:MoE(総エキスパート数128、1トークンあたりの活性エキスパート数8)、looped transformer(24レイヤー構造、うち中間の12レイヤーを3回ループ実行し実質48レイヤー評価)
  • コンテキスト長:最大1Mトークン

性能

元モデル(thinkingmachines/Inkling-2-Mini)のモデルカードで公開された評価結果は以下の通りです。本数値は元モデルでの測定結果であり、量子化版では精度に差異が生じる可能性があります。比較表は元データからすべてのモデル列をそのまま掲載しています。

→ 横にスクロールできます

Inkling 2 Mini Gemma 4 31B Muse Glimmer Qwen3.8-27B Nemotron 3.5 Super VL
Model Info
Params (B) activated / total 5/26 31/31 30/30 27/27 12/125
Third Party Index
AA Index (v5.0) 20.1 4.4 6.3 20.1 13.6
Vals Index (v2.2) 46.5% – – – 29.8%
Coding and Autoresearch
FrontierCode v2.0 stirrup v0.2.1 15.1% 0.0% 1.5% 14.9% 6.1%
DeepSWE v1.1 mini-swe-agent v2.4.6 48.2% 0.3% 4.4% 42.2% 24.7%
Terminal Bench v4.0 mini-swe-agent v2.4.6 5.6% 0.0% 0.5% 5.6% 0.0%
Terminal Bench v2.1 Inkling 2 Mini in pi v0.83.0 71.6% 43.4% 51.7% 73.0% 60.7%
SWEBench Pro v2 (Hard) mini-swe-agent v2.4.6 77.9% 14.2% 44.3% 73.8% 44.1%
SWEBench Multilingual Inkling 2 Mini with bash only 73.7% 43.0% 66.9% 70.0% 67.7%
SWEBench Verified bash only 79.2% 46.1% 76.0% 77.8% 71.1%
Vibe Code Bench v1.1 openhands (vals) 77.9% – – 64.9% 3.5%
PMPP-Hard (AUC, 0–10h) pi v0.83.0 455.82 – – 262.50 –
Agentic Search, Tool Use, and Knowledge Work
BrowseComp Inkling 2 Mini with compaction 79.0% 37.0% 63.9% 61.6% 78.9%
DeepSearchQA Inkling 2 Mini with compaction 85.3% 61.7% 74.6% 79.7% 77.7%
MCP Atlas Public 82.7% 54.2% 75.5% 77.3% 67.7%
AA-Briefcase v1.1 1263 369 478 1391 999
GDPVal-AA v2.1 1319 627 792 1427 1162
JobBench 49.6% 8.2% 16.1% 33.4% 36.5%
AutomationBench-AA v1.0.6 41.8% 4.9% 6.8% 48.2% 14.8%
EnterpriseOps-Gym 42.0% 28.4% 34.7% 44.2% 28.1%
Vals Finance Index 50.1% – – – 41.0%
AA-AnalystAgent 46.3% – 20.0% – –
Diligence Bench Best harness 48.6% – 40.9% 46.4% 45.0%
Vision Interpretation and Creation
GDP.pdf 16.8% 6.0% 11.8% 16.4% 8.0%
PerceptionBench 57.5% 40.7% 42.8% 52.4% 36.8%
MMMU Pro Standard 10 74.9% 73.4% 74.3% 76.3% 72.3%
OmniDocBench v1.6 92.8% 82.5% 90.4% 91.5% 77.9%
ScreenSpot Pro original / with Python 76.5/87.7% 5.9%/– 75.4%/– 57.6/78.9% 43.5%/–
Chartography original / with Python 22.1/72.5% 12.0/11.8% 17.4/25.1% 12.2/52.1% 9.7/29.3%
ZeroBench (main) original / with Python 17.0/34.0% 9.0/12.0% 9.0/17.0% 12.0%/– 11.0/12.0%
MuirBench 77.5% 72.3% 77.6% 65.9% 72.7%
BVB 68.4% 47.0% 50.5% 70.7% 52.1%
Reasoning, Knowledge, and Epistemics
HLE-Diamond 15.2% 7.2% 9.1% 15.3% 8.8%
CritPt v2 Full / Hard 31.4/17.0% –/4.0% –/7.0% 10.6/4.0% 36.9/13.5%
Apex 2025 34.4% 5.2% 4.2% 18.8% 22.9%
ARC-AGI v1 / v2 84.5/49.3% – – 87.5/42.4% 22.7/1.5%
LongBench v2 66.9% 52.9% 33.1% 52.3% 62.1%
GraphWalks BFS 256K 69.7% – – 50.4% 63.3%
MRCR v2 8-needle 256K–512K 46.4% – – 38.0% 5.7%
AA-Omniscience v1.1 score -8.6 -48.5 -32.2 -6.4 -2.9
AA-Omniscience v1.1 non-hallucination rate 63.4% 14.5% 16.4% 71.4% 69.5%
ComplexConstraints v1.1 openhands v1.45.0 33.4% 31.6% 35.6% 30.1% 30.1%
Safety and Alignment
FORTRESS (adversarial) Public 89.5% 67.8% 90.3% 78.8% 79.6%
FORTRESS (benign) Public 96.4% 97.6% 89.1% 97.8% 92.7%
StrongREJECT (none) 97.8% 98.1% 99.0% 99.0% 99.4%
Misbehavior (Internal) ↓ 9.8% 27.6% 46.4% 57.7% 52.8%
Covert misbehavior (Internal) ↓ 8.3% 24.3% 45.6% 33.2% 43.4%
Destructive actions (Internal) ↓ 10.2% 75.8% 68.8% 35.2% 65.6%

公開元の測定によると、本モデルはGitHubの実問題解決能力を測るSWE-bench(SWEBench Verifiedで79.2%)や長文理解能力を測るLongBench v2(66.9%)で高い評価を達成しており、比較対象のオープンウェイトモデルに対して優位性を示しています。専門家レベルの超難問を扱うHLE-Diamondでも15.2%を獲得し、トップクラスの成果を出しています。大学レベルの問題を画像付きで解く能力を測るMMMU(MMMU Pro Standard 10で74.9%)では、Qwen3.8-27B(76.3%)などと同等の水準を保持しています。一方で、Terminal-Bench v2.1での評価(71.6%)においてはQwen3.8-27B(73.0%)に僅差で及ばない項目も見られます。

得意なこと・想定用途

元モデルの設計およびモデルカードの記載によると、Inkling 2 Miniはテキストと画像を入力として処理できるマルチモーダルモデルであり、以下のような用途に向いています。

  • エージェントおよびツール利用システム: コマンド実行や外部ツールの操作を伴うタスクの構築に適しています。
  • コーディングアシスタント: コードの記述やデバッグ、ソフトウエアエンジニアリング関連の実課題解決に向いています。
  • チャットボットおよびRAGシステム: 1Mトークンの長文脈に対応しており、長文の読み込みや一般的な対話処理に活用できます。
  • 視覚タスク: 画像とテキストを共通の隠れ空間で処理するため、画像に基づいた解釈や応答作成が可能です。

また、推論時の思考の深さは reasoning_effort パラメータで制御できます。設定値には none、minimal、low、medium、high(デフォルト)、xhigh、max のほか、0.0から0.99の数値が指定可能です。

言語面では英語のほか一般的な多言語に対応していますが、英語以外の言語では出力の品質が低下する場合がある点に留意してください。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4090 / 3090 など 24GB IQ4_NL 16.4GB 19.7GB
RTX 5090 など 32GB Q8_0 25.9GB 31.1GB
A100 / H100 80GB クラス BF16 48.6GB 58.4GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。

当サイトでの実測

当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込んで(モデルは動かさずに)確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。

ライセンスの都合で行っていない実測

このモデルにはライセンスの表示が無く、利用の許諾を確認できません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。トークン数や GGUF ファイルの中身など、モデルを動かさずに確かめた値だけを載せています。

日本語のトークン効率

トークナイザ 日本語1,000字あたりのトークン数 同じ内容の英文との比
このモデル 806 1.38倍
Qwen3 688 1.26倍
Llama 3.2 744 1.36倍
Gemma 3 564 1.03倍
gpt-oss 795 1.45倍
LLM-jp-3 497 0.85倍

Qwen3 のトークナイザより約17%多いトークンが要ります。同じ文脈長に入る日本語は約0.85倍(少なくなります)で、生成も1字あたりで遅くなります。

thinkingmachines/Inkling-2-Mini の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。

GGUFファイルの中身

対象: Inkling-2-Mini-IQ4_NL.gguf(16.42GB、IQ4_NL)。ファイルの先頭のメタデータだけを読んで確かめました(重みはダウンロードしていません)。

項目 値
アーキテクチャ(GGUF上の名前) inkling2_loop
学習時の最大文脈長 1,048,576トークン
層の数 24
エキスパート 128個のうち8個を使用
語彙数 200,058
チャットテンプレート 同梱(ツール呼び出しの記述あり・思考の切り替えの記述あり)
imatrix 使用(inkling2-loop-calibration-v6.txt・1,770チャンク)
重みの型の内訳(パラメータ数の割合) IQ4_NL 78.2% / Q8_0 21.7% / F32 0.1%
平均のビット数 5.41ビット/重み
埋め込み層 / 出力層の型 Q8_0 / Q8_0

ファイル名の量子化名はファイル全体の呼び名で、実際には層ごとに型が混ざっています。平均のビット数は、ファイルのデータの大きさを重みの数で割った実測値です。

入手方法

Inkling 2 MiniのGGUF形式モデルは、Hugging Face上のggml-orgおよびAtomicChatのリポジトリにて配布されています。元モデルと同様にApache 2.0ライセンスで公開されており、利用規約への事前同意(gated)は不要です。

ggml-orgのリポジトリで公開されている量子化版は、以下のコマンドで実行できます。

llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

なお、本モデルは中間層をループさせる特殊なアーキテクチャを採用しているため、llama.cppで動かす際にはループ構造に対応したプルリクエスト(ggml-org/llama.cpp#32695、コミット 6196d98 など)が含まれるビルドが必要です。対応コードが含まれない通常のllama.cppリリースではモデルを読み込めませんのでご注意ください。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-21 lmstudio-community GGUF lmstudio-community/Inkling-2-Mini-GGUF Q4_K_M 19.5GB(24GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • lmstudio-community/Inkling-2-Mini-GGUF の量子化: Q4_K_M 16.3GB / Q6_K 21.9GB / Q8_0 25.9GB

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-21: 変換版を「派生版・量子化版」に追記しました: lmstudio-community/Inkling-2-Mini-GGUF
  • 2026-11-22: 当サイトでの実測(日本語のトークン効率・GGUFファイルの中身)を追加しました。