「ZwZ2-9B-GGUF」空間知覚を強化した視覚言語モデル:必要VRAM 8GB〜

「ZwZ2-9B-GGUF」空間知覚を強化した視覚言語モデル:必要VRAM 8GB〜

基本情報

項目 内容
リポジトリ inclusionAI/ZwZ2-9B-GGUF
まとめページ Qwen3.5 のまとめ(記事8本)
公開元のまとめ inclusionAI(Ant Group) のモデルとライセンスのまとめ
公開日 2026-10-30
ライセンス apache-2.0
配布形式 GGUF
論文 arXiv:2610.37037
出典の種類 公開元の一次情報(公式HFリポジトリで裏付けあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

視覚と言語を扱うオープンウェイトモデル「ZwZ2-9B」のGGUF形式版となる「inclusionAI/ZwZ2-9B-GGUF」がHugging Faceにて公開されました。本モデルは、プロジェクト「Zooming without Zooming v2 (ZwZ2)」の一環として開発された「ZwZ2-9B」をllama.cppなどのエンジンで実行できるように量子化した変換版です。

本モデルが基づく論文「Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception」(arXiv:2610.37037)によると、モデルの狙いは空間知覚やマルチモーダル長文理解の根底にある「証拠の接続(connecting evidence)」という能力を強化することにあります。これは、関連する視覚的事実を特定し、正しい対象と結びつけ、関係性を復元して回答を組み立てる能力を指しています。訓練には全体画像が用いられており、推論時には外部のズームツールなどを用いずに複数領域の視覚証拠を統合して処理できる点が特徴です。

配布されているリポジトリでは、言語モデル部分と視覚エンコーダ・プロジェクタ部分(mmproj)が個別に提供されており、FP16、Q8_0、Q4_K_Mの各精度を組み合わせて手元の環境に応じた構成で利用できます。

スペック

  • パラメータ数:9B
  • アーキテクチャ:Qwen3_5ForConditionalGeneration(ベースモデル:Qwen3.5-9B)

性能

本モデルの性能データについては、量子化元のモデルである「inclusionAI/ZwZ2-9B」のモデルカードおよび論文にて測定結果が公開されています。量子化版のモデルカードでも言及されているとおり、量子化の適用によって精度に影響が出る可能性がある点にご留意ください。

元モデルのカードに記載された測定結果によると、6つのドメインにわたる全25種類のベンチマークにおいて、土台となったQwen3.5-9Bからの精度向上が確認されています。具体的な数値として、全体の平均精度(overall accuracy)はベースモデルの51.63%から56.59%へと4.96ポイント向上したと報告されています。また、この25種類のベンチマークのすべてにおいてベースモデルのスコアを上回ったとされています。

この向上は特定のタスクにとどまらず、微細な知覚(fine-grained perception)から空間的推論(spatial reasoning)、長文理解(long-context understanding)、マルチモーダルエージェント(multimodal agents)、一般的な視覚推論(general visual reasoning)にまで及んでいると説明されています。なお、長文理解の評価において用いられた「MMLongBench*」では、V-RAG、Image MM-NIAH、VH-Multiからなる計25の非カウント系タスク(non-Counting tasks)で検証が行われています。

これらのスコアは第三者機関による独立したベンチマークではなく、モデルの開発元自身が公表した実測結果です。元モデルのカードには詳細な各ベンチマークの個別数値をまとめた表テキストは含まれておらず、ドメイン全体にわたる平均的な伸びと改善傾向が定性・定量両面から示されています。

得意なこと・想定用途

本モデルは元モデルであるZwZ2-9Bの特性を引き継いでおり、画像内の複数領域に散らばる視覚的証拠を相互に結びつけて判断を下すタスク全般を得意としています。

具体的には、画像の異なる部分同士を比較・照合する処理や、複数箇所の情報を集約して結論を導く多段階の視覚的推論に向いています。一般的な視覚言語モデルでは見落とされがちな細かいディテールの把握(微細な知覚)に加え、物体間の位置関係を把握する空間的推論、マルチモーダルエージェントによるタスク遂行、ロボティクスなどを想定した身体的空間推論(embodied spatial reasoning)などの領域において活用が期待されます。

また、論文およびモデルカードにおいて「マルチモーダル長文理解」の向上が示されている点も特徴です。これは、画像とテキストが混在する文脈や、画像から読み取った複数の事実を長文脈の中で保持・統合する用途に適しています。さらに、推論時に画像の一部を切り出して再読み込みするような外部ズームツールを必要とせず、入力された全体画像のみから各領域の関係性を捉えられるため、追加の推論ステップを挟まずにシンプルなパイプラインで画像理解を行いたいシステムに適しています。

学習には、SA-1Bデータセットから抽出した3〜7箇所の関連領域を比較・集約する質問を生成する「EvidenceConnect」フレームワークが用いられています。この学習データを用いたGRPO(Group Relative Policy Optimization)による強化学習により、一般的な視覚的推論能力が底上げされています。画像を入力とした対話や、複数箇所の証拠を突き合わせて答える視覚的質問応答(VQA)が主な想定用途となります。

類似モデルとの違い

同じくQwen3.5-9Bをベースに開発されたモデルとしては、構造化出力に特化した「clef-flash」構造化出力特化型モデル:当サイトでの回答例・必要VRAM 4GB〜・GGUF版ありがあります。clef-flashは独自のJoint schema headなどを備え、意思決定やスキーマに従ったデータ抽出などのテキスト処理性能に焦点を当てているのに対し、ZwZ2-9Bは視覚エンコーダを備えたマルチモーダルモデルであり、画像内の視覚的証拠の接続と空間的推論を主眼に置いている点でアプローチが異なります。

また、長い文脈の処理を狙ったモデルとしては「LensVLM-9B」長文を画像として縮小して処理する視覚言語モデル:必要VRAM 4GB〜・GGUF版ありが存在します。LensVLM-9Bは長文テキストを低解像度の画像として描画し、必要な箇所を選択的に展開することでトークン数を削減するアプローチを採用していました。これに対してZwZ2-9Bは、推論時にズームや解像度変更のツールに依存せず、1枚の全体画像に含まれる複数領域の視覚証拠を直接比較・統合することを目指して学習されている点が対照的です。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 9.4B(元モデル inclusionAI/ZwZ2-9B の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB Q4_K_M 5.2GB 6.3GB
RTX 4070 / 3060 12GB など 12GB Q8_0 8.9GB 10.6GB
RTX 4090 / 3090 など 24GB F16 16.7GB 20.0GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q4_K_M は実測 4.75 bit/weight で、元の16bitの重みの約30%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
tencent/Youtu-Parsing-Omni 5.3B 12GB youtu-parsing 「Youtu-Parsing-Omni」オムニモーダル解析モデル:必要VRAM 12GB〜(2026-11-17)
nvidia/Muse-Spark-Open-816B-A42B-DFlash2 4.4B 12GB nvidia-open-model-agreement-license 「Muse-Spark-Open-816B-A42B-DFlash2」VLMモデル:必要VRAM 12GB〜(2026-11-17)
tencent/WeVisOne-VL-4B 4.8B 4GB apache-2.0 Tencent、物体認識と画素処理を統合したビジョン言語モデル「WeVisOne-VL」公開(2026-11-17)
inclusionAI/ZwZ2-4B-GGUF 4.5B 4GB apache-2.0 「ZwZ2-4B-GGUF」複数領域の視覚推論を行う視覚言語モデル:必要VRAM 4GB〜(2026-11-17)
microsoft/Mage-VL-Cowork 4.7B 12GB apache-2.0 「Mage-VL-Cowork」GUI操作とコード実行をこなす4Bの視覚言語モデル:必要VRAM 12GB〜(2026-11-17)

入手方法

本モデルはGGUF形式で配布されており、Hugging Faceの「inclusionAI/ZwZ2-9B-GGUF」リポジトリから入手できます。ライセンスはApache-2.0が適用されており、利用規約への事前同意を求められるゲート付きモデルではないため、直接ファイルをダウンロードして利用可能です。

本リポジトリでは、言語モデル本体と視覚エンコーダ・プロジェクタ(mmproj)が個別のファイルとして提供されています。提供されている精度は以下のとおりです。

  • 言語モデル:FP16、Q8_0、Q4_K_M
  • 視覚コンポーネント(mmproj):FP16、Q8_0、Q4_K_M

実行時には言語モデルと視覚コンポーネントのそれぞれからファイルを選択して組み合わせて使用します。精度の異なる組み合わせも可能ですが、画像を入力する場合は必ず対応するmmprojファイルを指定する必要があります。

実行には、Qwen3.5のマルチモーダルに対応した最近のバージョンのllama.cppビルドを使用します。

コマンドラインからCLI推論を行う場合は、llama-mtmd-cliを用いて以下のように実行します。

llama-mtmd-cli \
  -m ZwZ2-9B-Q8_0.gguf \
  --mmproj mmproj-ZwZ2-9B-Q8_0.gguf \
  --image /path/to/image.jpg \
  -p "Describe this image." \
  --temp 0 -n 2048

また、OpenAI互換のAPIサーバーやWeb UIを起動して対話形式で利用する場合は、llama-serverを用いて以下のように立ち上げます。

llama-server \
  -m ZwZ2-9B-Q8_0.gguf \
  --mmproj mmproj-ZwZ2-9B-Q8_0.gguf \
  --host 127.0.0.1 --port 8080

使用する精度に応じて、ファイル名部分をFP16やQ4_K_Mのファイル名に置き換えて指定してください。

関連記事

次に読むなら

出典