「Qwen3.5-4B-GGUF」画像と動画の入力に対応したマルチモーダル言語モデル:必要VRAM 4GB〜

「Qwen3.5-4B-GGUF」画像と動画の入力に対応したマルチモーダル言語モデル:必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ ggml-org/Qwen3.5-4B-GGUF
まとめページ Qwen3.5 のまとめ(記事8本)
公開元のまとめ Alibaba(Qwen) のモデルとライセンスのまとめ
公開日 2026-11-12
ライセンス apache-2.0
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-orgの公式リポジトリで自動変換公開)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-orgにより、マルチモーダル対応の言語モデル「Qwen3.5-4B」のGGUF量子化版リポジトリ ggml-org/Qwen3.5-4B-GGUF が公開されました。本リポジトリは、アリババが開発した4Bパラメータモデル「Qwen3.5-4B」を自動変換ツールを用いてGGUF形式に変換したものです。テキスト生成に加えて画像や動画の入力に対応したモデルであり、ローカル環境で取り回しやすいモデルとして利用できます。

スペック

  • パラメータ数: 4B
  • アーキテクチャ: Qwen3_5ForConditionalGeneration (Gated Delta Networksとsparse Mixture-of-Expertsを組み合わせたハイブリッド構成)
  • 隠れ層次元: 2560
  • レイヤー数: 32
  • コンテキスト長: 標準で262,144トークン(拡張により最大1,010,000トークン)

性能

以下に示すのは、変換元である元モデル「Qwen3.5-4B」のモデルカードに掲載されている評価結果です。比較表はローカルで動かしやすいモデルを中心に一部の列を絞って掲載しています。

言語性能

→ 横にスクロールできます

GPT-OSS-20B Qwen3-30BA3B-Thinking-2507 Qwen3.5-9B Qwen3.5-4B
Knowledge & STEM
MMLU-Pro 74.8 80.9 82.5 79.1
MMLU-Redux 87.8 91.4 91.1 88.8
C-Eval 71.4 87.4 88.2 85.1
SuperGPQA 48.5 56.8 58.2 52.9
GPQA Diamond 71.5 73.4 81.7 76.2
Instruction Following
IFEval 88.2 88.9 91.5 89.8
IFBench 65.1 51.5 64.5 59.2
MultiChallenge 40.1 46.5 54.5 49.0
Long Context
AA-LCR 30.7 49.0 63.0 57.0
LongBench v2 45.6 44.8 55.2 50.0
Reasoning & Coding
HMMT Feb 25 76.7 63.1 83.2 74.0
HMMT Nov 25 81.8 73.8 82.9 76.8
LiveCodeBench v6 74.6 66.0 65.6 55.8
OJBench 36.3 25.1 29.2 24.1
General Agent
BFCL-V4 — 42.4 66.1 50.3
TAU2-Bench — 41.9 79.1 79.9
VITA-Bench — 14.1 29.8 22.0
DeepPlanning — 4.9 18.0 17.6
Multilingualism
MMMLU 69.7 78.4 81.2 76.1
MMLU-ProX 67.3 69.1 76.3 71.5
NOVA-63 48.7 52.5 55.9 54.3
INCLUDE 65.3 74.4 75.6 71.0
Global PIQA 79.8 80.2 83.2 78.9
PolyMATH 30.9 52.6 57.3 51.1
WMT24++ 67.8 69.3 72.6 66.6
MAXIFE 80.1 77.4 83.4 78.0

視覚言語性能

→ 横にスクロールできます

Gemini-2.5-Flash-Lite Qwen3-VL-30B-A3B Qwen3.5-9B Qwen3.5-4B
STEM and Puzzle
MMMU 73.4 76.0 78.4 77.6
MMMU-Pro 59.7 63.0 70.1 66.3
MathVision 52.1 65.7 78.9 74.6
Mathvista(mini) 72.8 81.9 85.7 85.1
We-Math 32.1 70.0 75.2 75.4
DynaMath 69.9 80.1 83.6 83.3
ZEROBench 1.0 0.0 3.0 3.0
ZEROBench_sub 19.2 23.7 31.1 26.3
VlmsAreBlind 68.4 72.5 93.7 92.6
BabyVision 17.5 18.6 28.6/25.8 16.0/19.1
General VQA
RealWorldQA 72.2 77.4 80.3 79.5
MMStar 69.1 75.5 79.7 78.3
MMBench EN-DEV-v1.1 82.7 88.9 90.1 89.4
SimpleVQA 54.1 54.3 51.2 43.4
HallusionBench 64.5 66.0 69.3 65.0
Text Recognition and Document Understanding
OmniDocBench1.5 79.4 86.8 87.7 86.2
CharXiv(RQ) 56.1 56.6 73.0 70.8
MMLongBench-Doc 46.5 47.4 57.7 54.2
CC-OCR 72.9 77.8 79.3 76.7
AI2D_TEST 85.7 86.9 90.2 89.6
OCRBench 82.5 83.9 89.2 85.0
Spatial Intelligence
ERQA 44.3 45.3 55.5 54.0
CountBench 79.2 90.0 97.2 96.3
RefCOCO(avg) — 89.3 89.7 88.1
EmbSpatialBench 66.1 80.6 83.0 81.3
RefSpatialBench 11.2 54.2 58.5 54.6
LingoQA 17.8 62.0 80.4 74.4
Hypersim — 11.4 13.5 12.5
Nuscene — 10.3 11.8 9.9
Video Understanding
VideoMME (w sub.) 74.6 79.9 84.5 83.5
VideoMME (w/o sub.) 72.7 73.3 78.4 76.9
VideoMMMU 69.2 75.0 78.9 74.1
MLVU 78.5 78.9 84.4 82.8
MVBench — 72.0 74.4 71.2
LVBench 60.9 59.2 70.0 66.4
MMVU 65.3 66.1 67.8 64.9
Visual Agent
ScreenSpot Pro — 60.5 65.2 60.3
OSWorld-Verified — 30.6 41.8 35.6
AndroidWorld — 55.0 57.8 58.6
Tool Calling
TIR-Bench 21.5 22.5 45.6/31.9 38.9/29.9
V* 69.6 83.2 90.1/88.5 84.3/86.4
Medical VQA
SLAKE 65.0 68.8 79.0 76.1
PMC-VQA 48.8 51.5 57.9 55.5
MedXpertQA-MM 35.3 35.5 49.9 42.9

モデルカードに公表されている元モデルの評価結果によると、Qwen3.5-4Bは4Bクラスの比較的小規模なモデルでありながら高い総合力を示しています。特に指示追従性能を測るIFEvalで89.8、画像中の文字読み取り能力を測るOCRBenchで85.0を獲得しており、学術レベルの画像理解を評価するMMMUにおいても77.6を記録するなど、指示遵守や視覚タスクにおいて大型モデルに迫る強みを持っています。一方で、競技プログラミングのコーディング問題を扱うLiveCodeBench v6では55.8、OSの画面操作能力を測るOSWorld-Verifiedでは35.6にとどまっており、より大規模なパラメータを持つQwen3.5-9Bなどの上位モデルと比較すると複雑なプログラミングや高度なGUI操作エージェント領域では及ばない面があります。

得意なこと・想定用途

本モデルの得意分野や想定される用途は、変換元である「Qwen3.5-4B」の機能に基づいています。主に以下のような用途やタスクに適しています。

  • 画像および動画を含むマルチモーダル処理: テキストだけでなく、画像や動画の入力を統合して処理できるため、図表やグラフの読み取り、文書の理解、視覚的な質問応答、動画の要約などに活用できます。
  • 長文テキストの解析: 標準で262,144トークンのコンテキスト長に対応しており、長大なドキュメントの読解が可能です。また、YaRNなどのRoPEスケーリング技術を適用することで、最大1,010,000トークンまで拡張して処理できます。
  • 多言語での対話とタスク実行: 201の言語および方言をサポートしており、多言語環境での翻訳や質問応答、地域的なニュアンスを汲み取った対話に対応します。
  • ツール呼び出しとエージェント運用: ツール呼び出し(Tool Calling)能力を備えており、Qwen-Agentやターミナル向けAIエージェントであるQwen Codeなどを通じて、MCP(Model Context Protocol)サーバーと連携したファイルシステム操作やタスク自動化を行えます。

なお、Qwen3.5-4Bはデフォルトで思考内容を出力する思考モード(Thinking Mode)で動作しますが、APIパラメータで enable_thinking: False を指定することで、思考ステップを挟まず直接回答を得る指示応答モード(Instruct Mode)へ切り替えることも可能です。

類似モデルとの違い

当サイトで以前取り上げた 「Tev1-4B-experimental」構造化データの意思決定に特化した4Bモデル:必要VRAM 4GB〜 は、Qwen3.5-4Bをベースモデルとして教師あり微調整(SFT)が施された派生モデルです。

Tev1-4B-experimentalは、構造化された入力(状態・質問・選択肢)から単一の選択肢ラベルを出力することに特化しており、意思決定や分類タスクの効率化を目的として開発されています。これに対し、今回公開された ggml-org/Qwen3.5-4B-GGUF は、元モデルが持つ汎用的なテキスト対話能力をはじめ、画像・動画の理解力、長文読解、ツール呼び出しといった広範なマルチモーダル機能を保持したまま、ローカル環境で動かしやすいGGUF形式へ変換したモデルとなっています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 4.7B(元モデル Qwen/Qwen3.5-4B の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q4_K_M 2.8GB 3.4GB
RTX 4060 / 3060 Ti など 8GB Q8_0 4.2GB 5.0GB
RTX 4070 / 3060 12GB など 12GB BF16 7.8GB 9.4GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q4_K_M は実測 5.16 bit/weight で、元の16bitの重みの約32%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
tencent/Youtu-Parsing-Omni 5.3B 12GB youtu-parsing 「Youtu-Parsing-Omni」オムニモーダル解析モデル:必要VRAM 12GB〜(2026-11-17)
nvidia/Muse-Spark-Open-816B-A42B-DFlash2 4.4B 12GB nvidia-open-model-agreement-license 「Muse-Spark-Open-816B-A42B-DFlash2」VLMモデル:必要VRAM 12GB〜(2026-11-17)
tencent/WeVisOne-VL-4B 4.8B 4GB apache-2.0 Tencent、物体認識と画素処理を統合したビジョン言語モデル「WeVisOne-VL」公開(2026-11-17)
inclusionAI/ZwZ2-9B-GGUF 9.4B 8GB apache-2.0 「ZwZ2-9B-GGUF」空間知覚を強化した視覚言語モデル:必要VRAM 8GB〜(2026-11-17)
microsoft/Mage-VL-Cowork 4.7B 12GB apache-2.0 「Mage-VL-Cowork」GUI操作とコード実行をこなす4Bの視覚言語モデル:必要VRAM 12GB〜(2026-11-17)

入手方法

本モデルはGGUF形式で配布されており、Hugging Faceのリポジトリ ggml-org/Qwen3.5-4B-GGUF より入手できます。ライセンスは Apache 2.0 が適用されており、利用にあたって事前のライセンス同意手続き(Gated)は必要ありません。

動作確認や利用にはLlama appが対応しているほか、ターミナルから以下のコマンドを実行してモデルを読み込み、サーバーを起動できます。

llama serve -hf ggml-org/Qwen3.5-4B-GGUF

なお、本リポジトリのモデルは自動変換ツール( https://github.com/ggml-org/convert )を用いて自動生成された量子化版です。

関連記事

次に読むなら

出典