「TML-d24-varloop-research-GGUF」VLMモデル:必要VRAM 24GB〜

2026年11月22日

「TML-d24-varloop-research-GGUF」VLMモデル:必要VRAM 24GB〜

基本情報

項目 内容
リポジトリ ggml-org/TML-d24-varloop-research-GGUF
公開日 2026-11-20
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

当サイトで確かめたこと

  • Qwen3 のトークナイザより約17%多いトークンが要ります。同じ文脈長に入る日本語は約0.85倍(少なくなります)で、生成も1字あたりで遅くなります。

詳しい値と条件は、下の「当サイトでの実測」の節にあります。

概要

ggml-orgは、Thinking Machines Labが開発した研究用マルチモーダルモデルのGGUF量子化版となる「ggml-org/TML-d24-varloop-research-GGUF」を公開しました。本モデルは、元モデルであるthinkingmachines/TML-d24-varloop-researchをベースにしており、テキストおよび画像の入力に対応したマルチモーダルモデルです。推論時にループ層の通過回数を変更できるアーキテクチャを採用しており、追加の計算量がモデル内部の処理や能力に与える影響を検証するための研究用モデルとして提供されています。

スペック

  • パラメータ数:総パラメータ 26.4B、活性パラメータ 3.4B(ループ1回時。ループ通過を1回追加するごとにトークンあたり約1.0Bの有効活性パラメータが増加)
  • アーキテクチャ:24レイヤーのMixture-of-Experts(MoE)。全128エキスパートのうちトークンごとに8個をルーティング。第6〜17の12レイヤーが可変ループコアとして動作
  • コンテキスト長:最大1Mトークン

性能

本モデルの性能データは、元モデルである「thinkingmachines/TML-d24-varloop-research」のモデルカードにて公表されています。以下の表は、元モデルにおける各ループ回数(1〜5回)のベンチマークスコアと、比較対象である「Inkling 2 Mini(3 passes)」の測定結果です(可読性を高めるため、元の表から一部の列を絞って掲載しています)。

→ 横にスクロールできます

Inkling 2 Mini / (3 passes) TML-d24-varloop-research / 1 pass TML-d24-varloop-research / 3 passes TML-d24-varloop-research / 5 passes
Agentic Coding
DeepSWE v1.1 mini-swe-agent v2.4.6 48.2% 0.7% 47.4% 48.2%
SWEBench Pro v2 (Hard) mini-swe-agent v2.4.6 77.9% 39.7% 78.9% 78.4%
SWEBench Multilingual bash only 73.7% 40.8% 71.8% 72.0%
SWEBench Verified bash only 79.2% 56.3% 78.7% 79.6%
Agentic Search, Tool Use, and Knowledge Work
BrowseComp original, no context management 76.0% 29.4% 65.7% 71.0%
MCP Atlas Public 82.7% 70.0% 79.4% 80.0%
JobBench 49.6% 22.8% 63.8% 63.3%
EnterpriseOps-Gym LangChain ReAct loop 36.7% 25.7% 36.6% 37.6%
Vision Interpretation and Creation
GDP.pdf 16.8% 4.6% 19.6% 20.0%
PerceptionBench 57.5% 45.5% 53.9% 52.7%
MMMU Pro Standard 10 74.9% 63.6% 71.4% 73.2%
OmniDocBench v1.6 92.8% 86.6% 92.1% 92.5%
BabyVision original 53.4% 32.7% 50.3% 49.2%
BabyVision with Python 88.8% 67.2% 88.9% 89.5%
ScreenSpot Pro original 76.5% 54.4% 72.0% 73.1%
ScreenSpot Pro with Python 87.7% 80.7% 87.7% 88.1%
Charxiv RQ original 80.6% 75.0% 79.9% 80.4%
Charxiv RQ with Python 88.3% 84.7% 87.6% 87.9%
Chartography original 22.1% 14.5% 21.6% 22.6%
Chartography with Python 72.5% 49.1% 72.3% 72.3%
ZeroBench (main) original 17.0% 9.0% 19.0% 17.0%
ZeroBench (main) with Python 34.0% 16.0% 40.0% 37.0%
Humanity’s Sixth Sense 23.8% 22.4% 25.5% 27.0%
MathVision 89.0% 74.8% 86.6% 88.1%
MuirBench 77.5% 73.6% 77.1% 77.8%
BVB 68.4% 53.9% 68.5% 69.5%
Reasoning, Knowledge, and Epistemics
HLE-Diamond 15.2% 6.3% 9.5% 11.1%
HLE (text only) 30.7% 10.5% 24.9% 25.9%
GPQA Diamond 86.6% 69.6% 84.2% 83.1%
Apex 2025 34.4% 3.1% 19.8% 18.8%
ComplexConstraints v1.1 openhands v1.45.0 33.4% 4.5% 37.9% 38.9%
SimpleQA Verified 8.4% 6.3% 7.3% 6.7%
AA-Omniscience v1.1 (Public) accuracy 21.3% 15.5% 18.4% 17.4%
AA-Omniscience v1.1 (Public) non-hallucination rate 64.6% 79.3% 84.0% 85.9%
SimpleVQA 45.4% 39.0% 42.4% 41.3%
WorldVQA 15.2% 11.3% 14.2% 13.5%
GraphWalks BFS 256K 69.7% 23.5% 64.3% 63.8%
MRCR v2 8-needle 256K–512K 46.4% 27.2% 89.2% 92.1%
Safety and Alignment
FORTRESS (adversarial) Public 89.5% 89.0% 90.0% 89.4%
FORTRESS (benign) Public 96.4% 95.0% 95.3% 95.0%
StrongREJECT (none) 97.8% 98.8% 98.2% 98.4%

公開元の測定結果によると、本モデルはループ通過回数を増やすことで、コーディングや推論などの複雑な領域においてスコアが大きく向上する特性を示しています。実在のGitHub issueに対する修正能力を測る「SWEBench Verified bash only」では、1 passの56.3%から3 passesの78.7%、5 passesの79.6%へと伸び、Inkling 2 Mini(79.2%)に並ぶ高精度を達成します。また、博士課程レベルの高度な問題を扱う「GPQA Diamond」でも、1 passの69.6%から3 passesの84.2%へPass@1の正答率が跳ね上がります。一方で、「FORTRESS (adversarial) Public」のような安全性・アライメント指標では、1 passで89.0%、3 passesで90.0%、5 passesで89.4%と大きな変化は見られません。このように、ループ計算を増やすことで複雑な思考タスクの性能を大幅に高められる反面、安全性などの領域では安定したスコアを維持する挙動が見られます。

得意なこと・想定用途

本モデルは、テキストと画像の双方を入力として受け取ることができる対話型のマルチモーダルモデルです。可変ループ構造における推論計算量の変化とモデルの内部挙動を評価する研究用モデルとして提供されています。得意分野や想定用途は、元モデル「thinkingmachines/TML-d24-varloop-research」の特性に基づきます。

タスクに応じた推論計算量の調整

推論時にループ層の通過回数を変更できるため、タスクの難易度に合わせて計算量を調整可能です。コードの自動修正やリポジトリ操作を行うコーディングタスク、複雑な論理展開を求める推論タスクにおいて、ループ回数を増やすことで高い処理精度を引き出すことができます。

画像とテキストを統合した理解と対話

ピクセルベースの画像入力(推奨解像度:各辺40px〜4096px)に対応しています。Vision Transformer経由で入力された視覚情報は、テキストとともに共有隠れ空間へ射影され、統合的に処理されます。文書画像の読み取りや図表の解析、スクリーンの状況把握などの視覚要素を含む対話に利用できます。

推論深度(reasoning_effort)のパラメータ制御

モデルの思考深度を設定する reasoning_effort パラメータに対応しています。設定値には none、minimal、low、medium、high(デフォルト)、xhigh、max の文字列ラベル、または0.0〜0.99の数値を指定して推論の深さを調整できます。

なお、本モデルは研究用として位置づけられており、本番運用向けの調整は行われていません。一般的な実用用途にはプロダクション向けモデル(Inkling 2 Miniなど)の利用が推奨されており、推論時のループ計算構造に関する調査や実験を主目的として設計されています。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4090 / 3090 など 24GB IQ4_NL 16.4GB 19.7GB
RTX 5090 など 32GB Q8_0 25.9GB 31.1GB
A100 / H100 80GB クラス BF16 48.6GB 58.4GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。

当サイトでの実測

当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込んで(モデルは動かさずに)確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。

ライセンスの都合で行っていない実測

このモデルにはライセンスの表示が無く、利用の許諾を確認できません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。トークン数や GGUF ファイルの中身など、モデルを動かさずに確かめた値だけを載せています。

日本語のトークン効率

トークナイザ 日本語1,000字あたりのトークン数 同じ内容の英文との比
このモデル 806 1.38倍
Qwen3 688 1.26倍
Llama 3.2 744 1.36倍
Gemma 3 564 1.03倍
gpt-oss 795 1.45倍
LLM-jp-3 497 0.85倍

Qwen3 のトークナイザより約17%多いトークンが要ります。同じ文脈長に入る日本語は約0.85倍(少なくなります)で、生成も1字あたりで遅くなります。

thinkingmachines/TML-d24-varloop-research の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。

GGUFファイルの中身

対象: TML-d24-varloop-research-IQ4_NL.gguf(16.42GB、IQ4_NL)。ファイルの先頭のメタデータだけを読んで確かめました(重みはダウンロードしていません)。

項目 値
アーキテクチャ(GGUF上の名前) inkling2_loop
学習時の最大文脈長 1,048,576トークン
層の数 24
エキスパート 128個のうち8個を使用
語彙数 200,058
チャットテンプレート 同梱(ツール呼び出しの記述あり・思考の切り替えの記述あり)
imatrix 使用(inkling2-loop-calibration-v6.txt・1,770チャンク)
重みの型の内訳(パラメータ数の割合) IQ4_NL 78.2% / Q8_0 21.7% / F32 0.1%
平均のビット数 5.41ビット/重み
埋め込み層 / 出力層の型 Q8_0 / Q8_0

ファイル名の量子化名はファイル全体の呼び名で、実際には層ごとに型が混ざっています。平均のビット数は、ファイルのデータの大きさを重みの数で割った実測値です。

入手方法

本モデル「ggml-org/TML-d24-varloop-research-GGUF」は、Hugging FaceのリポジトリにてGGUF形式で公開されています。ダウンロードに伴うライセンス同意(gated)の手続きは不要です。

実行環境としては、llama.cpp や llama.app などの対応エンジンが使用可能です。推論サーバーを起動する場合は、以下のコマンドを実行します。

llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL

サーバー起動時にループ層の通過回数を任意の値(例:2回)に変更したい場合は、以下のように --override-kv オプションを追加します。

llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL --override-kv inkling2_loop.loop.count=int:2

配布形式には、imatrixで校正された IQ4_NL のほか、Q8_0 や BF16 が含まれています。IQ4_NL量子化版では、第0〜19レイヤーのエキスパート重みがIQ4_NLに量子化され、ループコントローラーのF32重みやその他の重み行列はQ8_0精度で保持されています。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-22: 当サイトでの実測(日本語のトークン効率・GGUFファイルの中身)を追加しました。