Qwen3.5 まとめ:必要VRAM・GGUF版

当サイトが Qwen3.5 系統について公開した記事(8本)と、記事の公開後に見つかった変換版(GGUF・MLX等)、必要メモリの判定を1ページにまとめたものです。必要メモリはモデルカードの公称値ではなく、当サイトが配布ファイルのサイズから機械的に算出した値です。モデル系統別まとめの1ページです。

基本情報

項目 内容
元のモデル Qwen/Qwen3.5-4B-Base, Qwen/Qwen3.5-9B-Base, Qwen/Qwen3.5-0.8B-Base
公開元 Alibaba(Qwen)
ライセンス(モデルカード) apache-2.0、apple-amlr、mit
最小のVRAM階層 4GB
記事数 8本

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 4.7B(元モデル Qwen/Qwen3.5-4B の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q4_K_M 2.8GB 3.4GB
RTX 4060 / 3060 Ti など 8GB Q8_0 4.2GB 5.0GB
RTX 4070 / 3060 12GB など 12GB BF16 7.8GB 9.4GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

数値は、この系統で最も新しく判定した ggml-org/Qwen3.5-4B-GGUF のものです。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q4_K_M は実測 5.16 bit/weight で、元の16bitの重みの約32%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

判定は ggml-org/Qwen3.5-4B-GGUF についてのものです。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-17 bartowski GGUF(imatrix) bartowski/UserRepGen-4B-GGUF Q6_K_S 4.0GB(4GB VRAMで動作)
2026-11-17 mradermacher GGUF mradermacher/UserRepGen-4B-GGUF Q6_K 3.9GB(4GB VRAMで動作)
2026-10-05 ggml-org GGUF ggml-org/Clef-Flash-GGUF Q4_K_M 7.2GB(8GB VRAMで動作)
2026-10-03 mlx-community MLX mlx-community/clef-flash-8bit MLX 8bit 11.7GB(12GB VRAMで動作)
2026-10-01 bartowski GGUF(imatrix) bartowski/Cloudflare_clef-flash-GGUF Q5_K_M 7.8GB(8GB VRAMで動作)
2026-10-01 mlx-community MLX mlx-community/clef-flash-4bit MLX 4bit 6.6GB(8GB VRAMで動作)
2026-09-28 bartowski GGUF(imatrix) bartowski/LensVLM-9B-GGUF IQ2_M 4.0GB(4GB VRAMで動作)
2026-09-28 mradermacher GGUF(imatrix) mradermacher/LensVLM-9B-i1-GGUF IQ2_M 4.0GB(4GB VRAMで動作)
2026-09-28 mlx-community MLX mlx-community/LensVLM-9B-OptiQ-4bit MLX 4bit 7.9GB(8GB VRAMで動作)
2026-09-26 bartowski GGUF(imatrix) bartowski/togethercomputer_Tev1-4B-experimental-GGUF Q6_K_S 4.0GB(4GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • bartowski/UserRepGen-4B-GGUF の量子化: IQ2_M 1.5GB / Q2_K 1.6GB / IQ3_XXS 1.8GB / Q3_K_S 1.8GB / IQ3_XS 1.8GB / Q3_K_M 1.9GB / Q3_K_L 2.0GB / IQ3_M 2.1GB / IQ4_XS 2.3GB / Q4_K_S 2.4GB / Q4_0 2.5GB / IQ4_NL 2.5GB / Q4_K_M 2.5GB / Q4_1 2.7GB / Q4_K_L 2.7GB / Q5_K_S 2.9GB / Q5_K_M 3.1GB / Q6_K_S 3.3GB / Q6_K 3.4GB / Q6_K_L 3.6GB / Q8_0 4.2GB / BF16 7.8GB
  • mradermacher/UserRepGen-4B-GGUF の量子化: Q2_K 1.8GB / Q3_K_S 1.9GB / Q3_K_M 2.1GB / Q3_K_L 2.3GB / IQ4_XS 2.4GB / Q4_K_S 2.4GB / Q4_K_M 2.5GB / Q5_K_S 2.8GB / Q5_K_M 2.9GB / Q6_K 3.2GB / Q8_0 4.2GB / F16 7.8GB
  • ggml-org/Clef-Flash-GGUF の量子化: Q4_K_M 6.0GB / Q8_0 9.0GB / BF16 16.9GB
  • mlx-community/clef-flash-8bit の量子化: MLX 8bit 9.7GB
  • bartowski/Cloudflare_clef-flash-GGUF の量子化: Q2_K 3.9GB / Q3_K_S 4.5GB / IQ3_M 4.5GB / Q3_K_M 4.7GB / Q3_K_L 4.9GB / IQ4_XS 5.0GB / Q4_0 5.2GB / IQ4_NL 5.2GB / Q4_K_S 5.3GB / Q4_K_M 5.6GB / Q4_1 5.7GB / Q5_K_S 6.2GB / Q4_K_L 6.3GB / Q5_K_M 6.5GB / Q6_K 7.3GB / Q6_K_L 7.8GB / Q8_0 9.0GB / BF16 16.9GB
  • mlx-community/clef-flash-4bit の量子化: MLX 4bit 5.5GB
  • bartowski/LensVLM-9B-GGUF の量子化: IQ2_M 3.3GB / Q2_K 3.4GB / IQ3_XXS 3.9GB / Q3_K_S 4.0GB / IQ3_XS 4.0GB / Q3_K_M 4.2GB / Q3_K_L 4.3GB / IQ3_M 4.5GB / IQ4_XS 4.9GB / Q4_0 5.1GB / Q4_K_S 5.1GB / IQ4_NL 5.4GB / Q4_K_M 5.4GB / Q4_1 5.5GB / Q4_K_L 5.8GB / Q5_K_S 6.0GB / Q5_K_M 6.4GB / Q6_K_S 7.0GB / Q6_K 7.3GB / Q6_K_L 7.5GB / Q8_0 8.9GB / BF16 16.7GB
  • mradermacher/LensVLM-9B-i1-GGUF の量子化: IQ1_S 2.6GB / IQ1_M 2.7GB / IQ2_XXS 2.9GB / IQ2_XS 3.1GB / IQ2_S 3.2GB / IQ2_M 3.4GB / Q2_K_S 3.4GB / Q2_K 3.6GB / IQ3_XXS 3.7GB / IQ3_XS 4.0GB / Q3_K_S 4.0GB / IQ3_S 4.1GB / IQ3_M 4.1GB / Q3_K_M 4.3GB / Q3_K_L 4.6GB / IQ4_XS 4.8GB / Q4_0 5.0GB / Q4_K_S 5.0GB / IQ4_NL 5.0GB / Q4_K_M 5.2GB / Q4_1 5.4GB / Q5_K_S 5.9GB / Q5_K_M 6.0GB / Q6_K 6.9GB
  • mlx-community/LensVLM-9B-OptiQ-4bit の量子化: MLX 4bit 6.6GB
  • bartowski/togethercomputer_Tev1-4B-experimental-GGUF の量子化: IQ2_M 1.5GB / Q2_K 1.7GB / IQ3_XXS 1.8GB / Q3_K_S 1.9GB / IQ3_XS 1.9GB / Q3_K_M 2.0GB / Q3_K_L 2.1GB / IQ3_M 2.2GB / IQ4_XS 2.3GB / Q4_K_S 2.4GB / Q4_0 2.5GB / IQ4_NL 2.6GB / Q4_K_M 2.6GB / Q4_1 2.7GB / Q4_K_L 2.8GB / Q5_K_S 2.9GB / Q5_K_M 3.1GB / Q6_K_S 3.4GB / Q6_K 3.5GB / Q6_K_L 3.6GB / Q8_0 4.3GB / BF16 8.1GB

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。

記事(シリーズ自身のモデルを先に、新しい順)

リポジトリ

最終更新 2026-11-17(JST)。記事ログからコードが組み立てたページで、AIモデルが書いた文章はありません。