Inkling 2 MiniのGGUF版が公開、1Mコンテキスト対応のMoEマルチモーダルモデル

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | ggml-org/Inkling-2-Mini-GGUF |
| まとめページ | Inkling-2 のまとめ(記事1本) |
| 公開日 | 2026-11-20 |
| 配布形式 | GGUF |
| 出典の種類 | 公開元の一次情報(ggml-org公式リポジトリ) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
当サイトで確かめたこと
- Qwen3 のトークナイザより約17%多いトークンが要ります。同じ文脈長に入る日本語は約0.85倍(少なくなります)で、生成も1字あたりで遅くなります。
詳しい値と条件は、下の「当サイトでの実測」の節にあります。
概要
Thinking Machines Labが開発したマルチモーダル言語モデル「Inkling 2 Mini」のGGUF量子化版が、ggml-orgおよびAtomicChatによって公開されました。Inkling 2 Miniはテキストと画像を入力として受け取るlooped mixture-of-experts(MoE)モデルであり、ローカル環境での推論に配慮した設計がなされています。中間層を繰り返し評価する独自の構造を持つ点が特徴です。
スペック
- パラメータ数:総パラメータ26.4B、活性パラメータ3.4B(ループ実行により実質5.4B)
- アーキテクチャ:MoE(総エキスパート数128、1トークンあたりの活性エキスパート数8)、looped transformer(24レイヤー構造、うち中間の12レイヤーを3回ループ実行し実質48レイヤー評価)
- コンテキスト長:最大1Mトークン
性能
元モデル(thinkingmachines/Inkling-2-Mini)のモデルカードで公開された評価結果は以下の通りです。本数値は元モデルでの測定結果であり、量子化版では精度に差異が生じる可能性があります。比較表は元データからすべてのモデル列をそのまま掲載しています。
→ 横にスクロールできます
| Inkling 2 Mini | Gemma 4 31B | Muse Glimmer | Qwen3.8-27B | Nemotron 3.5 Super VL | |
|---|---|---|---|---|---|
| Model Info | |||||
| Params (B) activated / total | 5/26 | 31/31 | 30/30 | 27/27 | 12/125 |
| Third Party Index | |||||
| AA Index (v5.0) | 20.1 | 4.4 | 6.3 | 20.1 | 13.6 |
| Vals Index (v2.2) | 46.5% | – | – | – | 29.8% |
| Coding and Autoresearch | |||||
| FrontierCode v2.0 stirrup v0.2.1 | 15.1% | 0.0% | 1.5% | 14.9% | 6.1% |
| DeepSWE v1.1 mini-swe-agent v2.4.6 | 48.2% | 0.3% | 4.4% | 42.2% | 24.7% |
| Terminal Bench v4.0 mini-swe-agent v2.4.6 | 5.6% | 0.0% | 0.5% | 5.6% | 0.0% |
| Terminal Bench v2.1 Inkling 2 Mini in pi v0.83.0 | 71.6% | 43.4% | 51.7% | 73.0% | 60.7% |
| SWEBench Pro v2 (Hard) mini-swe-agent v2.4.6 | 77.9% | 14.2% | 44.3% | 73.8% | 44.1% |
| SWEBench Multilingual Inkling 2 Mini with bash only | 73.7% | 43.0% | 66.9% | 70.0% | 67.7% |
| SWEBench Verified bash only | 79.2% | 46.1% | 76.0% | 77.8% | 71.1% |
| Vibe Code Bench v1.1 openhands (vals) | 77.9% | – | – | 64.9% | 3.5% |
| PMPP-Hard (AUC, 0–10h) pi v0.83.0 | 455.82 | – | – | 262.50 | – |
| Agentic Search, Tool Use, and Knowledge Work | |||||
| BrowseComp Inkling 2 Mini with compaction | 79.0% | 37.0% | 63.9% | 61.6% | 78.9% |
| DeepSearchQA Inkling 2 Mini with compaction | 85.3% | 61.7% | 74.6% | 79.7% | 77.7% |
| MCP Atlas Public | 82.7% | 54.2% | 75.5% | 77.3% | 67.7% |
| AA-Briefcase v1.1 | 1263 | 369 | 478 | 1391 | 999 |
| GDPVal-AA v2.1 | 1319 | 627 | 792 | 1427 | 1162 |
| JobBench | 49.6% | 8.2% | 16.1% | 33.4% | 36.5% |
| AutomationBench-AA v1.0.6 | 41.8% | 4.9% | 6.8% | 48.2% | 14.8% |
| EnterpriseOps-Gym | 42.0% | 28.4% | 34.7% | 44.2% | 28.1% |
| Vals Finance Index | 50.1% | – | – | – | 41.0% |
| AA-AnalystAgent | 46.3% | – | 20.0% | – | – |
| Diligence Bench Best harness | 48.6% | – | 40.9% | 46.4% | 45.0% |
| Vision Interpretation and Creation | |||||
| GDP.pdf | 16.8% | 6.0% | 11.8% | 16.4% | 8.0% |
| PerceptionBench | 57.5% | 40.7% | 42.8% | 52.4% | 36.8% |
| MMMU Pro Standard 10 | 74.9% | 73.4% | 74.3% | 76.3% | 72.3% |
| OmniDocBench v1.6 | 92.8% | 82.5% | 90.4% | 91.5% | 77.9% |
| ScreenSpot Pro original / with Python | 76.5/87.7% | 5.9%/– | 75.4%/– | 57.6/78.9% | 43.5%/– |
| Chartography original / with Python | 22.1/72.5% | 12.0/11.8% | 17.4/25.1% | 12.2/52.1% | 9.7/29.3% |
| ZeroBench (main) original / with Python | 17.0/34.0% | 9.0/12.0% | 9.0/17.0% | 12.0%/– | 11.0/12.0% |
| MuirBench | 77.5% | 72.3% | 77.6% | 65.9% | 72.7% |
| BVB | 68.4% | 47.0% | 50.5% | 70.7% | 52.1% |
| Reasoning, Knowledge, and Epistemics | |||||
| HLE-Diamond | 15.2% | 7.2% | 9.1% | 15.3% | 8.8% |
| CritPt v2 Full / Hard | 31.4/17.0% | –/4.0% | –/7.0% | 10.6/4.0% | 36.9/13.5% |
| Apex 2025 | 34.4% | 5.2% | 4.2% | 18.8% | 22.9% |
| ARC-AGI v1 / v2 | 84.5/49.3% | – | – | 87.5/42.4% | 22.7/1.5% |
| LongBench v2 | 66.9% | 52.9% | 33.1% | 52.3% | 62.1% |
| GraphWalks BFS 256K | 69.7% | – | – | 50.4% | 63.3% |
| MRCR v2 8-needle 256K–512K | 46.4% | – | – | 38.0% | 5.7% |
| AA-Omniscience v1.1 score | -8.6 | -48.5 | -32.2 | -6.4 | -2.9 |
| AA-Omniscience v1.1 non-hallucination rate | 63.4% | 14.5% | 16.4% | 71.4% | 69.5% |
| ComplexConstraints v1.1 openhands v1.45.0 | 33.4% | 31.6% | 35.6% | 30.1% | 30.1% |
| Safety and Alignment | |||||
| FORTRESS (adversarial) Public | 89.5% | 67.8% | 90.3% | 78.8% | 79.6% |
| FORTRESS (benign) Public | 96.4% | 97.6% | 89.1% | 97.8% | 92.7% |
| StrongREJECT (none) | 97.8% | 98.1% | 99.0% | 99.0% | 99.4% |
| Misbehavior (Internal) ↓ | 9.8% | 27.6% | 46.4% | 57.7% | 52.8% |
| Covert misbehavior (Internal) ↓ | 8.3% | 24.3% | 45.6% | 33.2% | 43.4% |
| Destructive actions (Internal) ↓ | 10.2% | 75.8% | 68.8% | 35.2% | 65.6% |
公開元の測定によると、本モデルはGitHubの実問題解決能力を測るSWE-bench(SWEBench Verifiedで79.2%)や長文理解能力を測るLongBench v2(66.9%)で高い評価を達成しており、比較対象のオープンウェイトモデルに対して優位性を示しています。専門家レベルの超難問を扱うHLE-Diamondでも15.2%を獲得し、トップクラスの成果を出しています。大学レベルの問題を画像付きで解く能力を測るMMMU(MMMU Pro Standard 10で74.9%)では、Qwen3.8-27B(76.3%)などと同等の水準を保持しています。一方で、Terminal-Bench v2.1での評価(71.6%)においてはQwen3.8-27B(73.0%)に僅差で及ばない項目も見られます。
得意なこと・想定用途
元モデルの設計およびモデルカードの記載によると、Inkling 2 Miniはテキストと画像を入力として処理できるマルチモーダルモデルであり、以下のような用途に向いています。
- エージェントおよびツール利用システム: コマンド実行や外部ツールの操作を伴うタスクの構築に適しています。
- コーディングアシスタント: コードの記述やデバッグ、ソフトウエアエンジニアリング関連の実課題解決に向いています。
- チャットボットおよびRAGシステム: 1Mトークンの長文脈に対応しており、長文の読み込みや一般的な対話処理に活用できます。
- 視覚タスク: 画像とテキストを共通の隠れ空間で処理するため、画像に基づいた解釈や応答作成が可能です。
また、推論時の思考の深さは reasoning_effort パラメータで制御できます。設定値には none、minimal、low、medium、high(デフォルト)、xhigh、max のほか、0.0から0.99の数値が指定可能です。
言語面では英語のほか一般的な多言語に対応していますが、英語以外の言語では出力の品質が低下する場合がある点に留意してください。
動作環境
動作環境の目安(Local Model Watch 算出)
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| RTX 4090 / 3090 など 24GB | IQ4_NL | 16.4GB | 19.7GB |
| RTX 5090 など 32GB | Q8_0 | 25.9GB | 31.1GB |
| A100 / H100 80GB クラス | BF16 | 48.6GB | 58.4GB |
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
Ollama・LM Studio・llama.cpp でそのまま動かせます。
GGUF形式で配布されているため、変換を待たずに手元で読み込めます。
配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。
当サイトでの実測
当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込んで(モデルは動かさずに)確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。
ライセンスの都合で行っていない実測
このモデルにはライセンスの表示が無く、利用の許諾を確認できません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。トークン数や GGUF ファイルの中身など、モデルを動かさずに確かめた値だけを載せています。
日本語のトークン効率
| トークナイザ | 日本語1,000字あたりのトークン数 | 同じ内容の英文との比 |
|---|---|---|
| このモデル | 806 | 1.38倍 |
| Qwen3 | 688 | 1.26倍 |
| Llama 3.2 | 744 | 1.36倍 |
| Gemma 3 | 564 | 1.03倍 |
| gpt-oss | 795 | 1.45倍 |
| LLM-jp-3 | 497 | 0.85倍 |
Qwen3 のトークナイザより約17%多いトークンが要ります。同じ文脈長に入る日本語は約0.85倍(少なくなります)で、生成も1字あたりで遅くなります。
thinkingmachines/Inkling-2-Mini の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。
GGUFファイルの中身
対象: Inkling-2-Mini-IQ4_NL.gguf(16.42GB、IQ4_NL)。ファイルの先頭のメタデータだけを読んで確かめました(重みはダウンロードしていません)。
| 項目 | 値 |
|---|---|
| アーキテクチャ(GGUF上の名前) | inkling2_loop |
| 学習時の最大文脈長 | 1,048,576トークン |
| 層の数 | 24 |
| エキスパート | 128個のうち8個を使用 |
| 語彙数 | 200,058 |
| チャットテンプレート | 同梱(ツール呼び出しの記述あり・思考の切り替えの記述あり) |
| imatrix | 使用(inkling2-loop-calibration-v6.txt・1,770チャンク) |
| 重みの型の内訳(パラメータ数の割合) | IQ4_NL 78.2% / Q8_0 21.7% / F32 0.1% |
| 平均のビット数 | 5.41ビット/重み |
| 埋め込み層 / 出力層の型 | Q8_0 / Q8_0 |
ファイル名の量子化名はファイル全体の呼び名で、実際には層ごとに型が混ざっています。平均のビット数は、ファイルのデータの大きさを重みの数で割った実測値です。
入手方法
Inkling 2 MiniのGGUF形式モデルは、Hugging Face上のggml-orgおよびAtomicChatのリポジトリにて配布されています。元モデルと同様にApache 2.0ライセンスで公開されており、利用規約への事前同意(gated)は不要です。
ggml-orgのリポジトリで公開されている量子化版は、以下のコマンドで実行できます。
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL
なお、本モデルは中間層をループさせる特殊なアーキテクチャを採用しているため、llama.cppで動かす際にはループ構造に対応したプルリクエスト(ggml-org/llama.cpp#32695、コミット 6196d98 など)が含まれるビルドが必要です。対応コードが含まれない通常のllama.cppリリースではモデルを読み込めませんのでご注意ください。
派生版・量子化版
→ 横にスクロールできます
| 追記日 | 配布元 | 形式 | リポジトリ | 最小のVRAM階層(量子化・必要メモリの目安) |
|---|---|---|---|---|
| 2026-11-21 | lmstudio-community | GGUF | lmstudio-community/Inkling-2-Mini-GGUF | Q4_K_M 19.5GB(24GB VRAMで動作) |
各リポジトリの量子化とファイルサイズ:
- lmstudio-community/Inkling-2-Mini-GGUF の量子化: Q4_K_M 16.3GB / Q6_K 21.9GB / Q8_0 25.9GB
この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。
関連記事
- 「TML-d24-varloop-research-GGUF」VLMモデル:必要VRAM 24GB〜
- 「Qwen3-Coder-30B-A3B-Instruct-GGUF」テキスト生成モデル:必要VRAM 24GB〜
- 意思決定モデル「vllm-d3-GGUF」シリーズ公開
- 「Muse-Glimmer-30B-GGUF」30Bのマルチモーダルローカルエージェントモデル:必要VRAM 24GB〜
次に読むなら
- GPUのVRAMから探す(このモデルは24GBの階層から動きます) → 24GBのGPUで動くほかのモデル
- 同じモデル系統を調べる → Inkling-2 系統のまとめ(記事1本・変換版1件)
- このモデルを動かすエンジンを調べる → llama.cpp / Ollama
- 入手できる形式と、表に出てくる IQ4_NL・Q8_0 の意味を知る → GGUF形式の解説と対応モデル / 量子化・モデル形式の用語集
- 同じ用途の他のモデルを探す → VLM・マルチモーダルのモデル一覧
出典
- https://huggingface.co/ggml-org/Inkling-2-Mini-GGUF
- https://huggingface.co/AtomicChat/Inkling-2-Mini-GGUF
- https://huggingface.co/thinkingmachines/Inkling-2-Mini
更新履歴
- 2026-11-21: 変換版を「派生版・量子化版」に追記しました: lmstudio-community/Inkling-2-Mini-GGUF
- 2026-11-22: 当サイトでの実測(日本語のトークン効率・GGUFファイルの中身)を追加しました。

