Diffusers 0.42.0リリース:FLUX.3やPython 3.11必須化に対応

Diffusers 0.42.0リリース:FLUX.3やPython 3.11必須化に対応

基本情報

項目 内容
リポジトリ huggingface/diffusers
版 v0.42.0
公開日 2026-10-24
ライセンス Apache-2.0
出典の種類 公開元の一次情報(公式リポジトリのリリースノート)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Hugging Faceは、PyTorchベースで最先端の拡散モデル(画像、動画、音声生成)を扱うためのライブラリ「Diffusers」のバージョン 0.42.0 をリリースしました。本バージョンでは、Black Forest Labsの最新モデル「FLUX.3 Image Klein」への対応や、バイオ分子設計、高度な動画生成モデルの統合が行われています。利用者にとって最も大きな変更点はPython 3.11以上が必須となったことであり、古い環境を利用している場合はアップデート前にPython環境の更新が必要です。

破壊的変更・非推奨

項目 旧仕様 新仕様
Python バージョン 3.10 以上 3.11 以上
huggingface_hub < 2.0 >= 1.32.0, < 3.0
潜在変数の形式 (FLUX等) デコーダー内で展開(unpack) デノイズグループ内で展開
TorchAO バージョン (制限なし) 0.15 以上 (量子化利用時)

Python 3.10のサポートが終了したため、最新版をインストールする前にPython 3.11以降へのアップグレードが必要です。また、FLUX、Krea 2、LTX-Videoの各モデルにおいて、潜在変数(latents)の展開処理がデノイズ処理の末尾に移動しました。カスタムワークフローを構築している開発者は、展開済みの潜在変数をデコードブロックに渡すようにコードを修正する必要があります。従来のパックされた形式は非推奨となり、バージョン 0.47.0 で削除される予定です。

主な変更点

FLUX.3 Image Klein への対応

Black Forest Labsの最新モデル「FLUX.3 Image Klein」がサポートされました。テキストからの画像生成だけでなく、1つ以上の参照画像を用いた画像編集や、参照画像に基づく生成が可能です。
– 何が変わったか: ModularPipeline を通じてFLUX.3のベースモデルおよび蒸留版(step-distilled)が利用可能になりました。短いプロンプトを詳細なキャプションに変換するプロンプトアップサンプラーが統合され、バウンディングボックスによるレイアウト指定も可能です。
– 誰に影響するか: FLUX.3を利用して高品質な画像生成や編集を行いたいユーザー。
– 更新前・更新後にやること: ModularPipeline.from_pretrained() でパイプラインをロードし、load_components() を使用して重みを読み込む実装に変更してください。

Bria Fibo 2.0 の統合

構造化されたJSON形式のキャプションからの画像生成や、最大5つの参照画像を用いた編集をサポートする「Bria Fibo 2.0」が追加されました。
– 何が変わったか: BriaFibo2Pipeline が導入され、devチェックポイントおよびClassifier-Free Guidance (CFG)なしで4ステップで動作する「edit-turbo」チェックポイントが利用可能になりました。
– 誰に影響するか: 構造化プロンプトや複数画像による精密な画像編集を行いたいユーザー。
– 更新前・更新後にやること: 新しいパイプラインクラスを使用し、ドキュメントに記載された特定のプロンプト形式に従って入力を準備してください。

Kandinsky 6 による音声付き動画生成

テキストや参照画像から、同期された音声を含む動画を生成できる「Kandinsky 6」が統合されました。
– 何が変わったか: Kandinsky6TI2VAPipeline による生成と、Kandinsky6SRPipeline による動画の超解像がサポートされました。蒸留モデル向けに PiflowScheduler も導入されています。
– 誰に影響するか: 音声付きの動画生成や動画のアップスケーリングを行いたいユーザー。
– 更新前・更新後にやること: 超解像機能を利用する場合は、ドキュメントに記載された特定の要件を確認してください。

SANA-WM とカメラ制御

画像、テキスト、およびカメラの軌跡を指定して動画を生成できる「SANA-WM」がサポートされました。
– 何が変わったか: WASD/IJKLといったアクション文字列や明示的なポーズによるカメラ制御が可能になりました。生成後にLTX-2リファイナーで品質を向上させる2段階のワークフローにも対応しています。
– 誰に影響するか: 動画内のカメラワークを細かく制御したいユーザー。
– 更新前・更新後にやること: SANA-WMドキュメントを参照し、カメラ制御用の入力形式を確認してください。

RFD4-Proteína によるバイオ分子設計

タンパク質の配列と全原子構造を同時に生成する「RFD4-Proteína」が導入されました。
– 何が変わったか: バイオ分子設計のためのパイプライン、トランスフォーマー、オートエンコーダー、スケジューラーが統合されました。分子コンテキスト(結合ターゲットやモチーフなど)を条件として指定可能です。
– 誰に影響するか: 創薬やタンパク質工学などの科学計算にDiffusersを活用するユーザー。
– 更新前・更新後にやること: 入力データの準備やCIFファイルの書き出しのために、別途 rfd4-proteina-prep パッケージをインストールする必要があります。

ハードウェア対応と最適化の拡充

TorchTPUの統合や、Intel XPUにおけるテンソル並列化のサポートが追加されました。
– 何が変わったか: TPU上でのeager実行、torch.compile、テンソル並列化がサポートされました。また、Qwen-Image 2.1においてもテンソル並列化が利用可能になっています。
– 誰に影響するか: TPU、Intel XPU、またはQwen-Image 2.1を大規模な環境で動かしているユーザー。
– 更新前・更新後にやること: TPU環境では最新のTorchTPUバックエンドの設定を確認してください。また、TorchAO 0.15未満がインストールされている環境でもモデルのインポートが失敗しないよう修正されましたが、量子化機能には引き続き 0.15 以上が必要です。

対応モデル・ハードウェア

新規対応モデルとパイプライン

本バージョンでは、複数の最先端モデルの推論と利用が可能になりました。主要な追加モデルは以下の通りです。

  • FLUX.3 Image Klein: Black Forest Labsの最新モデルに対応しました。ModularPipeline を通じてベースモデルおよび蒸留版のロードが可能です。また、BFL FP8r および NVFP4 チェックポイントを直接読み込む機能も統合されました。
  • Bria Fibo 2.0: BriaFibo2Pipeline が導入されました。構造化されたJSON形式のプロンプトによる画像生成や、最大5つの参照画像を用いた編集が可能です。4ステップで動作する「edit-turbo」チェックポイントもサポートされています。
  • Kandinsky 6: Kandinsky6TI2VAPipeline による音声同期ビデオ生成と、Kandinsky6SRPipeline によるビデオ超解像が利用可能になりました。Pro、Lite、および蒸留版の各チェックポイントに対応しています。
  • SANA-WM: カメラ制御機能を備えた画像・動画生成パイプラインが追加されました。WASDやIJKLといったキー入力形式のアクション文字列や、明示的なポーズ指定によるカメラワークの制御が可能です。
  • RFD4-Proteína: バイオ分子設計のためのモデルが統合されました。タンパク質配列と全原子構造の同時生成が可能で、トランスフォーマー、オートエンコーダー、スケジューラー、LoRAロード機能が含まれています。
  • Qwen-Image 2.1: 新しいモジュラーパイプライン(QwenImage21ModularPipeline および QwenImage21TurboModularPipeline)が追加されました。テキストからの画像生成に加え、1つ以上の参照画像を用いた生成もサポートされています。

量子化形式とアダプターの拡張

モデルの軽量化やカスタマイズに関する機能も強化されています。

  • LoKr アダプター: LyCORISのKronecker-product(LoKr)アダプターのロードが可能になりました。Z-Imageや、FLUX.3 Kleinを含むFLUX.2ファミリーで利用できます。
  • KVAE-Audio: 48 kHzのオーディオをエンコード・デコードするための AutoencoderKLKVAEAudio が追加されました。高品質な音声生成ワークフローに活用できます。
  • MagCache: FLUX.2においてキャッシュ機能がサポートされ、推論の効率化が図られています。

ハードウェアアクセラレータへの最適化

多様な計算環境でのパフォーマンス向上が図られています。

  • TorchTPU: Google TPU環境において、eager実行、torch.compile、およびテンソル並列化(TP)が統合されました。これにより、TPU上での高速な推論と学習が可能になります。
  • Intel XPU: IntelのGPU(XPU)において、テンソル並列化がサポートされました。
  • AWS Trainium/Inferentia (Neuron): Qwen-Image 2.1において、Neuron向けのRoPE(Rotary Positional Embedding)最適化が行われました。Neuronでは複素数パスの代わりに実数のcos/sinを用いた処理が適用され、周波数データのキャッシュにより効率化されています。また、Neuronで実行不可能な repeat_interleave を回避するブロックID構築処理も導入されました。
  • Qwen-Image 2.1 のテンソル並列化: QwenImage21Transformer2DModel において、Attentionの to_q/to_k/to_v や SwiGLU の各層を列方向に、出力投影層を行方向に分割するテンソル並列化が実装されました。

アップデート方法

本バージョンを利用するには、まずPython環境が 3.11以上 であることを確認してください。その上で、以下の手順でアップデートを行います。

標準的なインストールまたはアップグレードは、PyPIから以下のコマンドを実行します。

pip install --upgrade diffusers

新しく追加されたバイオ分子設計モデル RFD4-Proteína を使用する場合は、入力データの準備やCIFファイルの出力のために、専用の補助パッケージを別途インストールする必要があります。

pip install rfd4-proteina-prep

また、量子化機能(TorchAO)を利用する場合は、torchao のバージョンが 0.15以上 である必要があります。古いバージョンがインストールされているとモデルのインポートに失敗する場合があるため、併せて更新を推奨します。

関連記事

次に読むなら

出典