FLUX.3 Image Kleinが登場:Diffusersで使える画像生成モデル

FLUX.3 Image Kleinが登場:Diffusersで使える画像生成モデル

基本情報

項目 内容
リポジトリ black-forest-labs/flux-3-image-klein-pup
まとめページ flux-3-image-klein のまとめ(記事1本)
公開元のまとめ Black Forest Labs のモデルとライセンスのまとめ
公開日 2026-10-13
ライセンス flux-kommunity-license
配布形式 safetensors
入手条件 Hugging Face でライセンス同意が必要(gated)
出典の種類 公開元の一次情報(HF公式ブログとBFL公式リポジトリ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Black Forest Labsは、新しいオープン画像生成モデル「FLUX.3 Image Klein」を公開しました。Hugging FaceのDiffusersライブラリにおいて初日からサポートされています。

本モデルは、テキストからの画像生成(Text-to-image)だけでなく、複数の参照画像を用いた画像から画像への生成・編集(Image-to-image)、さらにはバウンディングボックスによるレイアウト制御(Layout control)を単一のモデルで処理できる点が大きな特徴です。プロンプト内に領域を指定するバウンディングボックスを記述することで、画像のどの位置に被写体を配置するか、あるいは参照画像の特定部位をどこへ移動させるかを細かく指定できます。

公開されたチェックポイントには、高速推論向けに蒸留された「flux-3-image-klein」と、ファインチューニングなどの用途に向けたベースモデル「flux-3-image-klein-base」の2種類が用意されています。

スペック

公開資料に記載されている主な仕様および推奨設定は以下の通りです。

  • アーキテクチャ:潜在空間フローモデル(latent-space flow matching model)を採用しています。トランスフォーマーは2段階で構成されており、第1段階(Stage 1)ではテキスト・生成中のノイズ画像・参照画像の各ストリームが独立した重みを持つ5つの個別ブロック(per-mode blocks)を通過します。第2段階(Stage 2)ではこれらを連結したシーケンスが、共有の重みを持つ28の結合ブロック(joint blocks)を通過します。各ブロック内ではアテンションとSwiGLUによるMLPが並列動作します。
  • テキストエンコーダ:視覚言語モデル「Qwen3-VL」を採用しています。最終層のみを使用するのではなく、全36層のうち8層(4、8、…、32層)の隠れ状態をスタックして20,480次元のベクトルを生成し、線形層でトランスフォーマー幅である3,072次元へ射影しています。
  • VAE:FLUX.2と同じVAEアーキテクチャを採用しています。画像を縦横各8分の1に圧縮して32チャンネルとし、さらに2×2パッチを128チャンネルの1トークンにまとめます(1トークンあたり16×16ピクセルに相当)。
  • 位置エンコーディング:timestep(t)、height(h)、width(w)、sequence length(l)の4軸を持つ4次元RoPE(Rotary Position Embedding)を採用しています。
  • 出力仕様:デフォルト解像度は1024×1024ピクセルです。スクリプト実行時に高さ(height)や幅(width)を変更できます。
  • 推奨推論ステップ数・サンプラー・CFG:
  • 蒸留版(flux-3-image-klein):推奨16ステップ、Classifier-Free Guidance(CFG)は使用しません。 – ベース版(flux-3-image-klein-base):推奨50ステップ、CFGに対応しています。 – スケジューラには大きなタイムシフト(6.93)が設定されており、ベース版の50ステップ中44ステップが高ノイズ領域(σ > 0.5)で実行されます。
  • 提供形式・バリアント:bfloat16形式のほか、単一ファイル形式として行単位FP8(fp8r)およびNVFP4(nvfp4)の量子化モデルが用意されています。
  • ライセンス条件:両モデルとも「flux-kommunity-license」が適用されています。Hugging Face上でのリポジトリは利用規約への同意が必要な gated リポジトリとなっています。

性能・品質

公開元の公式ブログにおいて、NVIDIA H100 80GB(オフロードなし、デフォルトのアテンションバックエンド)を用いた蒸留版モデル(16ステップ)の生成速度の実測値が公表されています。ウォームアップ後に3回実行した平均値は以下の通りです。

  • Text-to-image(1024×1024生成):1.93秒
  • Image-to-image(1024×1024の参照画像1枚、1024×1024生成):3.87秒
  • レイアウト編集(1360×768の参照画像1枚、1360×768生成):4.10秒

参照画像を使用するワークフローでは、参照画像のトークンがテキストや生成画像と同じシーケンスに統合されるため、1024×1024の参照画像1枚につき4,096トークンがトランスフォーマーの呼び出しごとに追加されます。その結果、Text-to-imageと比較して処理時間が約2倍になると報告されています。トランスフォーマー1回の呼び出しあたりのトークン数は、Text-to-imageで4,256トークン、Image-to-imageで8,272トークン、レイアウト制御Text-to-imageで4,336トークン、レイアウト編集で8,800トークンとなります。

なお、公開資料内に既存モデルとの定量的比較ベンチマーク(VBench等のスコア表)の掲載はありません。

得意なこと・想定用途

FLUX.3 Image Kleinは、単一のモデルで「テキストからの画像生成」「複数の参照画像を用いた画像編集」「バウンディングボックスによる精密なレイアウト制御」の3役をこなすことができます。特に、画像内の要素をピクセル単位の座標指定で制御できる点が、従来のモデルにはない大きな強みです。

レイアウト制御では、プロンプトの後にJSON形式で領域(region)のリストを付加します。各領域にはID、バウンディングボックス([y_min, x_min, y_max, x_max]形式、0〜1000のスケール)、およびその場所の説明を記述します。これにより、新しい画像内での被写体の配置をミリ単位で指定したり、参照画像内の特定の要素(例:編みぐるみの騎士)を、背景を維持したまま別の位置へ移動させたりといった高度な編集が可能です。

本モデルの性能を最大限に引き出すためには、被写体、設定、照明、構図、スタイルを網羅した詳細なシーン説明が推奨されています。このプロンプト作成を補助するために、専用モデル「FLUX 3 Image Klein Prompt Upsampler (PUP)」が用意されています。これはQwen3.5-9Bをベースに、短い要求を詳細なプロンプトへと拡張するようファインチューニングされた9Bパラメータの視覚言語モデルです。短いプロンプトをそのまま入力すると出力が一般的(generic)なものになりやすいため、このPUPを前段に置くワークフローが推奨されています。

想定される用途としては、写実的な写真の生成、複雑な構図の指定が必要なグラフィックデザイン、既存画像の一部を正確に移動・変更する高度な画像編集などが挙げられます。また、ベースモデルはLoRAのファインチューニングにも対応しており、特定のスタイル(タロットカード風など)や、指示ベースの画像編集に特化したアダプターの学習にも向いています。

類似モデルとの違い

本モデルと同じQwen3.5-9Bを土台としたモデルには、構造化出力に特化した 「clef-flash」構造化出力特化型モデル:当サイトでの回答例・必要VRAM 4GB〜・GGUF版あり や、長文読解に特化した 「LensVLM-9B」長文を画像として縮小して処理する視覚言語モデル:必要VRAM 4GB〜・GGUF版あり があります。これらは主に視覚情報の「理解」や「推論」を目的としていますが、FLUX.3 Image Kleinはそれらの知見を画像「生成」および「編集」へと応用し、指示通りの画像を正確に出力することに特化している点が決定的な違いです。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB Q4_K_XL 5.6GB 6.7GB
RTX 4070 / 3060 12GB など 12GB Q8_0 8.9GB 10.6GB
RTX 4090 / 3090 など 24GB BF16 16.7GB 20.0GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 ファイルサイズは変換版 unsloth/flux-3-image-klein-pup-GGUF の配布ファイルの実測値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス flux-kommunity-license: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

入手条件: Hugging Face でライセンスに同意しないとダウンロードできません。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(flux-kommunity-license)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

配布ファイル

black-forest-labs/flux-3-image-klein で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
ae.safetensors 336MB
model.safetensors 11.10GB
text_encoder/model-*-of-00002.safetensors 8.88GB(2分割)
transformer/diffusion_pytorch_model-*-of-00002.safetensors 11.10GB(2分割)
vae/diffusion_pytorch_model.safetensors 336MB
variants/fp8r/model.safetensors 6.27GB
variants/nvfp4/model.safetensors 5.28GB

入手方法

FLUX.3 Image Kleinシリーズの各モデルは、Hugging Faceのリポジトリから入手可能です。ただし、画像生成モデル本体は 入手にライセンス同意が必要 な gated モデルとなっているため、ダウンロード前にHugging Face上での規約確認と承諾が必要です。

配布形式は safetensors で、以下のリポジトリが公開されています。

  • 画像生成・編集モデル:black-forest-labs/flux-3-image-klein(蒸留版)、black-forest-labs/flux-3-image-klein-base(ベース版)
  • プロンプト拡張モデル:black-forest-labs/flux-3-image-klein-pup(こちらはApache 2.0ライセンスです)
  • ComfyUI用シングルファイル:black-forest-labs/flux-3-image-klein-comfy(ComfyUIのテンプレートも提供されています)

Diffusersライブラリを使用する場合は、最新の diffusers と transformers をインストールした上で、ModularPipeline を用いてロードします。また、ベースモデルには行単位FP8(fp8r)やNVFP4(nvfp4)といった量子化バリアントも用意されており、from_single_file メソッドで読み込むことができます。メモリを節約したい場合は、テキストエンコーダを個別に実行してメモリを解放する手法や、コンポーネントごとにGPUへ移動させる enable_auto_cpu_offload の利用が推奨されています。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-17 unsloth GGUF unsloth/flux-3-image-klein-pup-GGUF Q4_K_XL 6.7GB(8GB VRAMで動作)
2026-11-17 mlx-community MLX mlx-community/flux-3-image-klein-pup-4bit MLX 4bit 6.6GB(8GB VRAMで動作)
2026-11-17 mlx-community MLX mlx-community/flux-3-image-klein-pup-8bit MLX 8bit 11.7GB(12GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • unsloth/flux-3-image-klein-pup-GGUF の量子化: Q4_K_M 5.2GB / Q4_K_XL 5.6GB / Q6_K 6.9GB / Q8_0 8.9GB / BF16 16.7GB
  • mlx-community/flux-3-image-klein-pup-4bit の量子化: MLX 4bit 5.5GB
  • mlx-community/flux-3-image-klein-pup-8bit の量子化: MLX 8bit 9.7GB

このほか、上記以外の投稿者による変換版が 15 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-17: 変換版を「派生版・量子化版」に追記しました: unsloth/flux-3-image-klein-pup-GGUF, mlx-community/flux-3-image-klein-pup-4bit, mlx-community/flux-3-image-klein-pup-8bit
  • 2026-11-17: 動作環境の表を unsloth/flux-3-image-klein-pup-GGUF の実ファイルサイズで更新しました。