「Qwen3.5-4B-GGUF」画像と動画の入力に対応したマルチモーダル言語モデル:必要VRAM 4GB〜

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | ggml-org/Qwen3.5-4B-GGUF |
| まとめページ | Qwen3.5 のまとめ(記事8本) |
| 公開元のまとめ | Alibaba(Qwen) のモデルとライセンスのまとめ |
| 公開日 | 2026-11-12 |
| ライセンス | apache-2.0 |
| 配布形式 | GGUF |
| 出典の種類 | 公開元の一次情報(ggml-orgの公式リポジトリで自動変換公開) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
ggml-orgにより、マルチモーダル対応の言語モデル「Qwen3.5-4B」のGGUF量子化版リポジトリ ggml-org/Qwen3.5-4B-GGUF が公開されました。本リポジトリは、アリババが開発した4Bパラメータモデル「Qwen3.5-4B」を自動変換ツールを用いてGGUF形式に変換したものです。テキスト生成に加えて画像や動画の入力に対応したモデルであり、ローカル環境で取り回しやすいモデルとして利用できます。
スペック
- パラメータ数: 4B
- アーキテクチャ: Qwen3_5ForConditionalGeneration (Gated Delta Networksとsparse Mixture-of-Expertsを組み合わせたハイブリッド構成)
- 隠れ層次元: 2560
- レイヤー数: 32
- コンテキスト長: 標準で262,144トークン(拡張により最大1,010,000トークン)
性能
以下に示すのは、変換元である元モデル「Qwen3.5-4B」のモデルカードに掲載されている評価結果です。比較表はローカルで動かしやすいモデルを中心に一部の列を絞って掲載しています。
言語性能
→ 横にスクロールできます
| GPT-OSS-20B | Qwen3-30BA3B-Thinking-2507 | Qwen3.5-9B | Qwen3.5-4B | |
|---|---|---|---|---|
| Knowledge & STEM | ||||
| MMLU-Pro | 74.8 | 80.9 | 82.5 | 79.1 |
| MMLU-Redux | 87.8 | 91.4 | 91.1 | 88.8 |
| C-Eval | 71.4 | 87.4 | 88.2 | 85.1 |
| SuperGPQA | 48.5 | 56.8 | 58.2 | 52.9 |
| GPQA Diamond | 71.5 | 73.4 | 81.7 | 76.2 |
| Instruction Following | ||||
| IFEval | 88.2 | 88.9 | 91.5 | 89.8 |
| IFBench | 65.1 | 51.5 | 64.5 | 59.2 |
| MultiChallenge | 40.1 | 46.5 | 54.5 | 49.0 |
| Long Context | ||||
| AA-LCR | 30.7 | 49.0 | 63.0 | 57.0 |
| LongBench v2 | 45.6 | 44.8 | 55.2 | 50.0 |
| Reasoning & Coding | ||||
| HMMT Feb 25 | 76.7 | 63.1 | 83.2 | 74.0 |
| HMMT Nov 25 | 81.8 | 73.8 | 82.9 | 76.8 |
| LiveCodeBench v6 | 74.6 | 66.0 | 65.6 | 55.8 |
| OJBench | 36.3 | 25.1 | 29.2 | 24.1 |
| General Agent | ||||
| BFCL-V4 | — | 42.4 | 66.1 | 50.3 |
| TAU2-Bench | — | 41.9 | 79.1 | 79.9 |
| VITA-Bench | — | 14.1 | 29.8 | 22.0 |
| DeepPlanning | — | 4.9 | 18.0 | 17.6 |
| Multilingualism | ||||
| MMMLU | 69.7 | 78.4 | 81.2 | 76.1 |
| MMLU-ProX | 67.3 | 69.1 | 76.3 | 71.5 |
| NOVA-63 | 48.7 | 52.5 | 55.9 | 54.3 |
| INCLUDE | 65.3 | 74.4 | 75.6 | 71.0 |
| Global PIQA | 79.8 | 80.2 | 83.2 | 78.9 |
| PolyMATH | 30.9 | 52.6 | 57.3 | 51.1 |
| WMT24++ | 67.8 | 69.3 | 72.6 | 66.6 |
| MAXIFE | 80.1 | 77.4 | 83.4 | 78.0 |
視覚言語性能
→ 横にスクロールできます
| Gemini-2.5-Flash-Lite | Qwen3-VL-30B-A3B | Qwen3.5-9B | Qwen3.5-4B | |
|---|---|---|---|---|
| STEM and Puzzle | ||||
| MMMU | 73.4 | 76.0 | 78.4 | 77.6 |
| MMMU-Pro | 59.7 | 63.0 | 70.1 | 66.3 |
| MathVision | 52.1 | 65.7 | 78.9 | 74.6 |
| Mathvista(mini) | 72.8 | 81.9 | 85.7 | 85.1 |
| We-Math | 32.1 | 70.0 | 75.2 | 75.4 |
| DynaMath | 69.9 | 80.1 | 83.6 | 83.3 |
| ZEROBench | 1.0 | 0.0 | 3.0 | 3.0 |
| ZEROBench_sub | 19.2 | 23.7 | 31.1 | 26.3 |
| VlmsAreBlind | 68.4 | 72.5 | 93.7 | 92.6 |
| BabyVision | 17.5 | 18.6 | 28.6/25.8 | 16.0/19.1 |
| General VQA | ||||
| RealWorldQA | 72.2 | 77.4 | 80.3 | 79.5 |
| MMStar | 69.1 | 75.5 | 79.7 | 78.3 |
| MMBench EN-DEV-v1.1 | 82.7 | 88.9 | 90.1 | 89.4 |
| SimpleVQA | 54.1 | 54.3 | 51.2 | 43.4 |
| HallusionBench | 64.5 | 66.0 | 69.3 | 65.0 |
| Text Recognition and Document Understanding | ||||
| OmniDocBench1.5 | 79.4 | 86.8 | 87.7 | 86.2 |
| CharXiv(RQ) | 56.1 | 56.6 | 73.0 | 70.8 |
| MMLongBench-Doc | 46.5 | 47.4 | 57.7 | 54.2 |
| CC-OCR | 72.9 | 77.8 | 79.3 | 76.7 |
| AI2D_TEST | 85.7 | 86.9 | 90.2 | 89.6 |
| OCRBench | 82.5 | 83.9 | 89.2 | 85.0 |
| Spatial Intelligence | ||||
| ERQA | 44.3 | 45.3 | 55.5 | 54.0 |
| CountBench | 79.2 | 90.0 | 97.2 | 96.3 |
| RefCOCO(avg) | — | 89.3 | 89.7 | 88.1 |
| EmbSpatialBench | 66.1 | 80.6 | 83.0 | 81.3 |
| RefSpatialBench | 11.2 | 54.2 | 58.5 | 54.6 |
| LingoQA | 17.8 | 62.0 | 80.4 | 74.4 |
| Hypersim | — | 11.4 | 13.5 | 12.5 |
| Nuscene | — | 10.3 | 11.8 | 9.9 |
| Video Understanding | ||||
| VideoMME (w sub.) | 74.6 | 79.9 | 84.5 | 83.5 |
| VideoMME (w/o sub.) | 72.7 | 73.3 | 78.4 | 76.9 |
| VideoMMMU | 69.2 | 75.0 | 78.9 | 74.1 |
| MLVU | 78.5 | 78.9 | 84.4 | 82.8 |
| MVBench | — | 72.0 | 74.4 | 71.2 |
| LVBench | 60.9 | 59.2 | 70.0 | 66.4 |
| MMVU | 65.3 | 66.1 | 67.8 | 64.9 |
| Visual Agent | ||||
| ScreenSpot Pro | — | 60.5 | 65.2 | 60.3 |
| OSWorld-Verified | — | 30.6 | 41.8 | 35.6 |
| AndroidWorld | — | 55.0 | 57.8 | 58.6 |
| Tool Calling | ||||
| TIR-Bench | 21.5 | 22.5 | 45.6/31.9 | 38.9/29.9 |
| V* | 69.6 | 83.2 | 90.1/88.5 | 84.3/86.4 |
| Medical VQA | ||||
| SLAKE | 65.0 | 68.8 | 79.0 | 76.1 |
| PMC-VQA | 48.8 | 51.5 | 57.9 | 55.5 |
| MedXpertQA-MM | 35.3 | 35.5 | 49.9 | 42.9 |
モデルカードに公表されている元モデルの評価結果によると、Qwen3.5-4Bは4Bクラスの比較的小規模なモデルでありながら高い総合力を示しています。特に指示追従性能を測るIFEvalで89.8、画像中の文字読み取り能力を測るOCRBenchで85.0を獲得しており、学術レベルの画像理解を評価するMMMUにおいても77.6を記録するなど、指示遵守や視覚タスクにおいて大型モデルに迫る強みを持っています。一方で、競技プログラミングのコーディング問題を扱うLiveCodeBench v6では55.8、OSの画面操作能力を測るOSWorld-Verifiedでは35.6にとどまっており、より大規模なパラメータを持つQwen3.5-9Bなどの上位モデルと比較すると複雑なプログラミングや高度なGUI操作エージェント領域では及ばない面があります。
得意なこと・想定用途
本モデルの得意分野や想定される用途は、変換元である「Qwen3.5-4B」の機能に基づいています。主に以下のような用途やタスクに適しています。
- 画像および動画を含むマルチモーダル処理: テキストだけでなく、画像や動画の入力を統合して処理できるため、図表やグラフの読み取り、文書の理解、視覚的な質問応答、動画の要約などに活用できます。
- 長文テキストの解析: 標準で262,144トークンのコンテキスト長に対応しており、長大なドキュメントの読解が可能です。また、YaRNなどのRoPEスケーリング技術を適用することで、最大1,010,000トークンまで拡張して処理できます。
- 多言語での対話とタスク実行: 201の言語および方言をサポートしており、多言語環境での翻訳や質問応答、地域的なニュアンスを汲み取った対話に対応します。
- ツール呼び出しとエージェント運用: ツール呼び出し(Tool Calling)能力を備えており、Qwen-Agentやターミナル向けAIエージェントであるQwen Codeなどを通じて、MCP(Model Context Protocol)サーバーと連携したファイルシステム操作やタスク自動化を行えます。
なお、Qwen3.5-4Bはデフォルトで思考内容を出力する思考モード(Thinking Mode)で動作しますが、APIパラメータで enable_thinking: False を指定することで、思考ステップを挟まず直接回答を得る指示応答モード(Instruct Mode)へ切り替えることも可能です。
類似モデルとの違い
当サイトで以前取り上げた 「Tev1-4B-experimental」構造化データの意思決定に特化した4Bモデル:必要VRAM 4GB〜 は、Qwen3.5-4Bをベースモデルとして教師あり微調整(SFT)が施された派生モデルです。
Tev1-4B-experimentalは、構造化された入力(状態・質問・選択肢)から単一の選択肢ラベルを出力することに特化しており、意思決定や分類タスクの効率化を目的として開発されています。これに対し、今回公開された ggml-org/Qwen3.5-4B-GGUF は、元モデルが持つ汎用的なテキスト対話能力をはじめ、画像・動画の理解力、長文読解、ツール呼び出しといった広範なマルチモーダル機能を保持したまま、ローカル環境で動かしやすいGGUF形式へ変換したモデルとなっています。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 4.7B(元モデル Qwen/Qwen3.5-4B の値)
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| 4GB(ノートPCの内蔵GPU・スマートフォンなど) | Q4_K_M | 2.8GB | 3.4GB |
| RTX 4060 / 3060 Ti など 8GB | Q8_0 | 4.2GB | 5.0GB |
| RTX 4070 / 3060 12GB など 12GB | BF16 | 7.8GB | 9.4GB |
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
Ollama・LM Studio・llama.cpp でそのまま動かせます。
GGUF形式で配布されているため、変換を待たずに手元で読み込めます。
ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。
量子化の圧縮率: Q4_K_M は実測 5.16 bit/weight で、元の16bitの重みの約32%のサイズです(配布ファイルの実サイズから当サイトが算出)。
配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
同クラスの既報モデル
当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。
→ 横にスクロールできます
| モデル | パラメータ数 | 最小のVRAM階層 | ライセンス | 記事 |
|---|---|---|---|---|
| tencent/Youtu-Parsing-Omni | 5.3B | 12GB | youtu-parsing | 「Youtu-Parsing-Omni」オムニモーダル解析モデル:必要VRAM 12GB〜(2026-11-17) |
| nvidia/Muse-Spark-Open-816B-A42B-DFlash2 | 4.4B | 12GB | nvidia-open-model-agreement-license | 「Muse-Spark-Open-816B-A42B-DFlash2」VLMモデル:必要VRAM 12GB〜(2026-11-17) |
| tencent/WeVisOne-VL-4B | 4.8B | 4GB | apache-2.0 | Tencent、物体認識と画素処理を統合したビジョン言語モデル「WeVisOne-VL」公開(2026-11-17) |
| inclusionAI/ZwZ2-9B-GGUF | 9.4B | 8GB | apache-2.0 | 「ZwZ2-9B-GGUF」空間知覚を強化した視覚言語モデル:必要VRAM 8GB〜(2026-11-17) |
| microsoft/Mage-VL-Cowork | 4.7B | 12GB | apache-2.0 | 「Mage-VL-Cowork」GUI操作とコード実行をこなす4Bの視覚言語モデル:必要VRAM 12GB〜(2026-11-17) |
入手方法
本モデルはGGUF形式で配布されており、Hugging Faceのリポジトリ ggml-org/Qwen3.5-4B-GGUF より入手できます。ライセンスは Apache 2.0 が適用されており、利用にあたって事前のライセンス同意手続き(Gated)は必要ありません。
動作確認や利用にはLlama appが対応しているほか、ターミナルから以下のコマンドを実行してモデルを読み込み、サーバーを起動できます。
llama serve -hf ggml-org/Qwen3.5-4B-GGUF
なお、本リポジトリのモデルは自動変換ツール( https://github.com/ggml-org/convert )を用いて自動生成された量子化版です。
関連記事
- ggml-org/spec-for-testing-GGUF: llama.cpp向け予測的デコードテスト用GGUFモ…
- 「ZwZ2-4B-GGUF」複数領域の視覚推論を行う視覚言語モデル:必要VRAM 4GB〜
- 「UserRepGen-4B」ユーザー表現生成用の4B級言語モデル:必要VRAM 4GB〜・GGUF版あり
- 「Tev1-4B-experimental」構造化データの意思決定に特化した4Bモデル:必要VRAM 4GB〜
次に読むなら
- GPUのVRAMから探す(このモデルは4GBの階層から動きます) → 8GBのGPUで動くほかのモデル
- 同じモデル系統を調べる → Qwen3.5 系統のまとめ(記事8本・変換版10件)
- このモデルを動かすエンジンを調べる → llama.cpp / Ollama
- 入手できる形式と、表に出てくる Q4_K_M・Q8_0 の意味を知る → GGUF形式の解説と対応モデル / 量子化・モデル形式の用語集
- 公開元について調べる → Alibaba(Qwen) のモデル・ライセンス・記事のまとめ

