「Qwen-Image-NVFP4」4ビット量子化画像生成モデル:必要VRAM 48GB〜・配布ファイル一覧

「Qwen-Image-NVFP4」4ビット量子化画像生成モデル:必要VRAM 48GB〜・配布ファイル一覧
nvidia/Qwen-Image-NVFP4 の作例
作例: nvidia/Qwen-Image-NVFP4 のモデルカードより

基本情報

項目 内容
リポジトリ nvidia/Qwen-Image-NVFP4
公開元のまとめ NVIDIA のモデルとライセンスのまとめ
公開日 2026-10-10
ライセンス apache-2.0
配布形式 safetensors
論文 arXiv:2508.02324
出典の種類 公開元の一次情報(NVIDIA公式HFリポジトリが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

NVIDIAは、テキストから画像を生成するオープンウェイトモデル「nvidia/Qwen-Image-NVFP4」を公開しました。本モデルは、中国AlibabaのQwenチームが開発した基底モデル「Qwen/Qwen-Image」をベースに、NVIDIAの最適化ツール「Model Optimizer」を用いて4ビット浮動小数点形式(NVFP4)へと量子化したモデルです。テキストプロンプトを入力することで、高品質なRGB画像を生成できます。

本モデルはNVIDIA Blackwellアーキテクチャ(GB300)および推論エンジン「TensorRT-LLM VisualGen」向けに最適化されています。ベースモデルが持つ高度なテキスト描画能力や指示追従性を維持しながら、対応する線形演算においてNVFP4精度の重みと活性化を利用した高速な推論を実現することを目的としています。

スペック

公開されたモデルカードに基づき、判明しているスペックおよび仕様は以下の通りです。

  • モデル種別: テキストから画像を生成する拡散トランスフォーマー(Text-to-Image Diffusion Transformer / MMDiT)
  • パラメータ数: デノイジングトランスフォーマー単体で20.43B(約204億3000万パラメータ)、テキストエンコーダおよびVAEを含むフルパイプライン全体で28.85B(約288億5000万パラメータ)です。
  • パイプライン構成: Qwen2.5-VLテキストエンコーダ、Qwenトークナイザー、60層のQwen-Imageトランスフォーマー、Qwen-Image VAE、およびFlowMatch Eulerスケジューラで構成されています。
  • 量子化仕様: NVIDIA Model Optimizer v0.47.0を使用しています。ブロック2から57にわたるトランスフォーマー内の784個の線形重み行列(1ブロックあたり14個の行列)がNVFP4形式に量子化されています。その他のトランスフォーマーパラメータ、テキストエンコーダ、VAEは高精度を保持しています。
  • 入力仕様: 1次元のテキスト文字列を受け付けます。プロンプトは最大1,024トークンまで許容されており、デフォルトは512トークンです。英語および中国語のプロンプトワークフローに対応しています。
  • 出力仕様: 2次元のRGB画像(PIL画像形式)を出力します。意図しない自動リサイズを避けるため、幅と高さには16の倍数の値を指定することが推奨されています。
  • 推奨推論設定: モデルカードの評価やサンプル生成では、ステップ数50、ガイダンススケール(CFG)4.0、空白文字1文字(" “)のネガティブプロンプトが使用されています。
  • キャリブレーションデータ: 量子化時のキャリブレーションには、「Gustavosta/Stable-Diffusion-Prompts」データセットのテキストプロンプトのみが使用されています。
  • ライセンス条件: モデルカードにおいて、商用および非商用を問わず利用可能(Ready for commercial or non-commercial use)と明記されています。

性能・品質

公開元であるNVIDIAにより、BF16精度のベースモデル(Qwen/Qwen-Image リビジョン75e0b4be)とNVFP4量子化版との比較ベンチマーク結果が公表されています。評価は解像度1024×1024、50ステップ、CFG 4.0、空白1文字のネガティブプロンプトという同一条件で実施されています。

Model Qwen-Image-Bench OneIG-EN
Baseline (BF16) 48.986 51.337
NVFP4 49.754 51.563

公表された数値によると、画像品質、美観、テキストと画像の整合性、実世界の忠実度などを評価する「Qwen-Image-Bench」において、NVFP4版のスコアは49.754を記録し、BF16ベースラインの48.986を上回っています。また、アライメント、テキスト描画、推論、スタイル、多様性を総合評価する「OneIG-EN」においても、NVFP4版が51.563となり、BF16ベースラインの51.337をわずかに上回るスコアが示されています。NVIDIAが提示した評価結果上では、4ビットへの量子化を適用しながらも元のBF16モデルと同等以上のベンチマーク精度を維持していることが示されています。

得意なこと・想定用途

「nvidia/Qwen-Image-NVFP4」は、クリエイティブコンテンツのプロトタイピングやビジュアル制作のワークフロー、各種AI画像生成アプリケーションへの組み込みを想定して提供されています。あらかじめNVFP4形式に量子化されたモデルとして提供されているため、利用者は追加の量子化処理を行うことなく推論システムへ導入できます。

本モデルの表現力や生成特性は、ベースモデルである「Qwen/Qwen-Image」の能力を引き継いでいます。元モデルの大きな強みとして、画像内における複雑なテキスト描画が挙げられます。英語のようなアルファベット言語だけでなく、漢字などの中国語の文字表現においてもタイポグラフィの細部やレイアウトの整合性を保ちながら画像内に自然に溶け込ませることが可能です。モデルカードに示されたサンプルでも、茶館の看板に「春日茶馆」という漢字を正確に描画する例が紹介されています。

また、被写界深度や木目・陶器の質感、柔らかな自然光を捉えたフォトリアリスティックな写真表現や、肌の質感や瞳のハイライトを精緻に描写するクローズアップポートレート、アニメ調や印象派風といった多彩な芸術的スタイルの生成にも対応しています。プロンプトは英語と中国語の双方に対応しており、最大1,024トークンまでの入力が可能なため、詳細で複雑なシチュエーションの指示を与えた画像生成にも適しています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 20.4B(元モデル Qwen/Qwen-Image の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 6000 Ada / A6000 など 48GB NVFP4 28.3GB 33.9GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

配布ファイル

nvidia/Qwen-Image-NVFP4 で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
text_encoder/model.safetensors 16.58GB
transformer/diffusion_pytorch_model.safetensors 13.51GB
vae/diffusion_pytorch_model.safetensors 254MB

入手方法

本モデルの重みはsafetensors形式で配布されており、Hugging Faceのリポジトリ「nvidia/Qwen-Image-NVFP4」から入手できます。モデルのダウンロードにはhuggingface_hubを利用します。

python3 -m pip install --upgrade huggingface_hub

hf download nvidia/Qwen-Image-NVFP4 \
  --local-dir./Qwen-Image-NVFP4

export MODEL_DIR="$(realpath./Qwen-Image-NVFP4)"

本チェックポイントは、NVIDIA Blackwellアーキテクチャ(GB300)およびLinux環境において「TensorRT-LLM VisualGen 1.3.0rc28」を用いた動作検証が行われています。VisualGenは格納されたModelOpt NVFP4形式の重みと量子化設定を直接読み込むため、事前の重み変換やランタイム側のソースコードパッチの適用は不要です。

利用にあたっては、サービング用の設定ファイルを作成した上で、Dockerコンテナを用いて推論サーバーを立ち上げます。

cat > visualgen-eager.yaml <<'YAML'
attention_config:
  backend: VANILLA
parallel_config:
  cfg_size: 1
  ulysses_size: 1
torch_compile_config:
  enable: false
cuda_graph_config:
  enable: false
compilation_config:
  skip_warmup: true
YAML

export VISUALGEN_CONFIG="$(realpath visualgen-eager.yaml)"

設定ファイルを作成した後、以下のコマンドでコンテナを起動してサービスを開始します。

docker run --rm \
  --gpus '"device=0"' \
  --ipc=host \
  -p 127.0.0.1:8000:8000 \
  -v "$MODEL_DIR:/model:ro" \
  -v "$VISUALGEN_CONFIG:/visualgen-eager.yaml:ro" \
  nvcr.io/nvidia/tensorrt-llm/release:1.3.0rc28 \
  trtllm-serve /model \
    --host 0.0.0.0 \
    --port 8000 \
    --visual_gen_args /visualgen-eager.yaml

サーバーの起動完了後は、ヘルスチェック用エンドポイント(http://127.0.0.1:8000/health)で稼働状態を確認できます。画像の生成は、OpenAI互換の画像生成エンドポイント(/v1/images/generations)に対してJSON形式でリクエストを送信することで実行可能です。以下はPythonを用いた画像生成リクエストの実装例です。

import base64
import json
import urllib.request
from pathlib import Path

payload = {
    "model": "/model",
    "prompt": (
        "A realistic photograph of a red ceramic teapot on a wooden "
        "table beside a window, soft morning light, detailed wood grain."
    ),
    "negative_prompt": " ",
    "size": "512x512",
    "num_inference_steps": 50,
    "guidance_scale": 4.0,
    "seed": 42,
    "response_format": "b64_json",
    "format": "png",
}

request = urllib.request.Request(
    "http://127.0.0.1:8000/v1/images/generations",
    data=json.dumps(payload).encode("utf-8"),
    headers={"Content-Type": "application/json"},
    method="POST",
)

with urllib.request.urlopen(request, timeout=600) as response:
    result = json.load(response)

output = Path("qwen-image-nvfp4.png")
output.write_bytes(base64.b64decode(result["data"][0]["b64_json"]))
print(f"Saved {output.resolve()}")

なお、意図しない自動リサイズを防ぐため、生成サイズに指定する幅と高さは16の倍数とすることが推奨されています。

関連記事

次に読むなら

出典