「ZoomGain-4B」微細視覚認識特化型の視覚言語モデル:必要VRAM 4GB〜・GGUF版あり

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | inclusionAI/ZoomGain-4B |
| まとめページ | ZoomGain のまとめ(記事3本) |
| 公開元のまとめ | inclusionAI(Ant Group) のモデルとライセンスのまとめ |
| 公開日 | 2026-11-10 |
| 配布形式 | safetensors |
| 論文 | arXiv:2611.14076 |
| 出典の種類 | 公開元の一次情報(公式HFリポジトリで裏付けあり) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
inclusionAIより、微細な視覚認識に特化した視覚言語モデル「ZoomGain-4B」が公開されました。ベースアーキテクチャにはQwen3.5系が採用されており、同時に公開された評価用ベンチマークや強化学習用データセットとともに配布されています。
本モデルが参照している論文「ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision」(arXiv:2611.14076)によると、視覚言語モデルは画像全体では認識が難しい微細な情報であっても、該当箇所をズーム拡大することで認識できる場合があるという特性を持っています。ZoomGainはこの「全体とズーム時の認識ギャップ(global-to-zoom perception gap)」に着目し、ズームによって初めて得られる詳細な視覚情報から画像全体に対する質問を自動構築することで、高品質な視覚的教師データを効率的に生成しモデルを強化学習することを目指して開発されました。
スペック
- アーキテクチャ: Qwen3_5ForConditionalGeneration (qwen3_5)
性能
本モデルのリポジトリカードおよび参照論文の要旨において、評価結果が公表されています。構造化されたスコア一覧表はモデルカードの本文中に直接埋め込まれておらず、論文内の表(Table 3)などを参照する形式となっていますが、公表資料から以下の定量的・定性的な評価結果が判明しています。
公開元が独自に構築した評価ベンチマーク「ZoomGainBench」において、検証された28種類の視覚言語モデルの中で、最高スコアは61.08にとどまったと報告されています。このベンチマークは941枚の画像に対する1,000問の質問(英語および中国語の計2,000タスク)で構成されており、属性認識・カウント・OCR(文字認識)といった、画像の局所的な詳細情報に強く依存する課題を評価する内容となっています。
モデルの学習成果に関しては、わずか9,000件のZoomGain強化学習データで学習を行うことにより、4Bモデルおよび9Bモデルの視覚認識能力が大幅に向上したとされています。この学習によって、各種認識ベンチマークにおいて数百億パラメータ規模(hundred-billion-parameter)を持つ大型モデルの性能を上回る結果を示したと主張されています。また、同系統の兄弟モデルであるZoomGain-9Bにおいては、HR-Bench 4Kベンチマークで90.25という高いスコアを記録し、SoTA(最高水準)の性能を達成したと報告されています。
これらの結果から、全体画像からでは捉えにくい微細な手がかりをズーム領域の情報を用いて補強・学習させるアプローチが、比較的小規模な4Bクラスのモデルにおいても認識精度を大きく引き上げる効果を持つことが示されています。一方で、ZoomGainBenchにおいて既存の28モデルによる最高スコアが61点台にとどまっていることや、選択肢形式の質問において特定の誤答選択肢に誘導されやすい傾向が分析されていることから、微細な視覚的詳細を誤認なく完全に識別するタスクには依然として難度の高い課題が残されていることも示唆されています。なお、これらの数値や評価は公開元自身による測定結果に基づいています。
得意なこと・想定用途
ZoomGain-4Bは、画像全体からでは見落とされやすい微細な視覚情報(fine-grained visual perception)を捉え、詳細な手がかりに基づいて推論を行うタスクに特化しています。
本モデルのベースとなった研究では、通常の視覚言語モデルが全体画像では判別できない細部であっても、該当箇所をズーム拡大することで認識可能になる現象に着目しています。モデルカードおよび論文要旨によると、ZoomGainは以下のステップで構築されたデータによって強化されています。
- ターゲット領域の特定(Ground the target): 複数のモデルが画像全体の中から対象物の位置を特定し、合意が得られた領域を切り出します。
- 証拠の抽出(Mine evidence): 切り出された領域と画像全体でのキャプションを比較し、ズーム拡大によって初めて判明した詳細情報を画像全体に対する質問へと変換します。
- 質問と回答の検証(Verify questions and answers): 切り出し画像上で回答をクロスチェックし、画像なしで言語の先入観(language priors)から答えられてしまう質問や曖昧な質問を排除した上で、紛らわしい選択肢(distractor)を構築します。
このようなプロセスを経て学習されているため、本モデルは言語的な推測に頼らず、実際の細かな視覚的証拠を必要とするタスクで真価を発揮します。評価ベンチマーク「ZoomGainBench」の構成に示されている通り、具体的には以下のような用途に適しています。
- 属性認識(Attribute Recognition): 被写体の微細な色、模様、形状、状態などの詳細な特徴を識別する用途。
- オブジェクトのカウント(Counting): 画面内に密集する小さな物体や要素を正確に識別して数え上げる用途。
- 局所的なOCR(文字認識): 縮小表示では潰れてしまいがちな、画像内の細かなテキストや標識、文書の記述を正確に読み取る用途。
また、評価データセットが英語と中国語の双方に対応して構築されていることから、多言語での微細な視覚的質問応答への応用も想定されています。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 4.5B
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| 4GB(ノートPCの内蔵GPU・スマートフォンなど) | Q4_K_M | 2.5GB | 3.0GB |
| RTX 4060 / 3060 Ti など 8GB | Q8_0 | 4.2GB | 5.0GB |
| RTX 4070 / 3060 12GB など 12GB | F16 | 7.8GB | 9.4GB |
推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 ファイルサイズは変換版 inclusionAI/ZoomGain-4B-GGUF の配布ファイルの実測値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
公開元の配布形式は safetensors です。
量子化の圧縮率: Q4_K_M は実測 4.73 bit/weight で、元の16bitの重みの約30%のサイズです(配布ファイルの実サイズから当サイトが算出)。
配布形式とライセンス表記から当サイトのコードが組み立てた判定です。
当サイトでの実測
ライセンスの都合で行っていない実測
このモデルにはライセンスの表示が無く、利用の許諾を確認できません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。
入手方法
モデルウェイトはsafetensors形式で公開されており、Hugging Face CLIを用いてダウンロードできます。本モデルはゲート付き(gated)ではないため、利用規約への個別同意を求められることなく直接取得が可能です。
モデルウェイトのダウンロードコマンドは以下の通りです。
hf download inclusionAI/ZoomGain-4B --local-dir "./ZoomGain-4B"
推論および評価環境の構築には、公式リポジトリのクローンと依存パッケージの導入が必要です。リポジトリでは推論エンジン・ライブラリとしてvllm==0.19.1およびtransformers==5.7.0の導入が指定されています。
git clone https://github.com/inclusionAI/ZoomGain.git
cd ZoomGain
python -m pip install -r eval_ZoomGainBench/requirements.txt \
'vllm==0.19.1' 'transformers==5.7.0'
ローカル環境でZoomGainBenchによる評価を実行する場合は、ベンチマークデータセット(inclusionAI/ZoomGainBench)をダウンロードした上で、リポジトリ内の評価スクリプト(eval_ZoomGainBench/eval.sh)を実行する手順が案内されています。
派生版・量子化版
→ 横にスクロールできます
| 追記日 | 配布元 | 形式 | リポジトリ | 最小のVRAM階層(量子化・必要メモリの目安) |
|---|---|---|---|---|
| 2026-11-17 | bartowski | GGUF(imatrix) | bartowski/ZoomGain-4B-GGUF | Q6_K_S 4.0GB(4GB VRAMで動作) |
| 2026-11-17 | inclusionAI | GGUF | inclusionAI/ZoomGain-4B-GGUF | Q4_K_M 3.0GB(4GB VRAMで動作) |
各リポジトリの量子化とファイルサイズ:
- bartowski/ZoomGain-4B-GGUF の量子化: IQ2_M 1.5GB / Q2_K 1.6GB / IQ3_XXS 1.8GB / Q3_K_S 1.8GB / IQ3_XS 1.8GB / Q3_K_M 1.9GB / Q3_K_L 2.0GB / IQ3_M 2.1GB / IQ4_XS 2.3GB / Q4_K_S 2.4GB / Q4_0 2.5GB / IQ4_NL 2.5GB / Q4_K_M 2.5GB / Q4_1 2.7GB / Q4_K_L 2.7GB / Q5_K_S 2.9GB / Q5_K_M 3.1GB / Q6_K_S 3.3GB / Q6_K 3.4GB / Q6_K_L 3.6GB / Q8_0 4.2GB / BF16 7.8GB
- inclusionAI/ZoomGain-4B-GGUF の量子化: Q4_K_M 2.5GB / Q8_0 4.2GB / F16 7.8GB
この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。
関連記事
- 「ZoomGain-9B」細粒度認識に特化した視覚言語モデル:必要VRAM 8GB〜・GGUF版あり
- 「SingVL_S1_4B」画像入力対応マルチモーダル判断モデル:必要VRAM 4GB〜・GGUF版あり
- 「SingVL_S1_4B_GGUF」4Bのマルチモーダル意思決定モデル:必要VRAM 4GB〜
- 「ZoomGain-9B-GGUF」画像とテキストの対話に対応する視覚言語モデル:必要VRAM 8GB〜
次に読むなら
- GPUのVRAMから探す(このモデルは4GBの階層から動きます) → 8GBのGPUで動くほかのモデル
- 同じモデル系統を調べる → ZoomGain 系統のまとめ(記事3本・変換版4件)
- 入手できる形式と、表に出てくる Q4_K_M・Q8_0 の意味を知る → GGUF形式の解説と対応モデル / 量子化・モデル形式の用語集
- 公開元について調べる → inclusionAI(Ant Group) のモデル・ライセンス・記事のまとめ
出典
- inclusionAI/ZoomGain-4B (Hugging Face)
- arXiv:2611.14076: ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision
- arXiv:2611.14076 HTML版
- ZoomGain (GitHub)
更新履歴
- 2026-11-17: 変換版を「派生版・量子化版」に追記しました: bartowski/ZoomGain-4B-GGUF, inclusionAI/ZoomGain-4B-GGUF
- 2026-11-17: 動作環境の表を inclusionAI/ZoomGain-4B-GGUF の実ファイルサイズで更新しました。
- 2026-11-17: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。

