「Idol」3D Gaussian Splatting生成モデル:ComfyUIの配置先

「Idol」3D Gaussian Splatting生成モデル:ComfyUIの配置先

基本情報

項目 内容
リポジトリ Comfy-Org/Idol
まとめページ idol のまとめ(記事2本)
公開日 2026-11-02
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(Comfy-Org公式リポジトリが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Comfy-Orgより、単一の画像から3D Gaussian Splattingモデルを生成するオープンウェイトモデル「Idol」のComfyUI向け再パッケージ版「Comfy-Org/Idol」が公開されました。

本モデルは、speridlabsが公開した「speridlabs/idol」のファイルをComfyUIの標準的なフォルダ構成に合わせて再配置した派生配布版です。入力としてオブジェクトの単一画像(CGレンダリング、生成AIによる画像、実写写真)を受け取り、元画像には写っていない裏側や側面を含めて最大1,048,576個の3D Gaussianを推定し、標準的な3DGS形式である .ply ファイルを出力します。

スペック

配布元リポジトリおよび元モデル「speridlabs/idol」の資料に記載されている主要なスペックは以下の通りです。本モデルは「TripoSplat」のファインチューニング版と位置づけられており、既存のTripoSplat向けワークフローと互換性を持っています。

  • アーキテクチャ・構成要素: 複数のコンポーネントを組み合わせたパイプライン構成となっています
  • DiT(denoiser): 370.6M – Octree decoder: 50.8M – Gaussian decoder: 237.3M – BiRefNet(背景除去): 220.7M – DINOv3 ViT-H+/16(画像エンコーダー): 840.6M – FLUX.2 VAE: 84.1M – リクエスト全体のパラメータ数合計: 約1.80B(~1.80B)
  • 出力仕様:
  • 3D Gaussian Splattingデータ(.ply ファイル) – 背景除去・クロップ済み入力画像(_input.png) – 推定カメラパラメータ(_camera.json) – 出力ガウス数: 32,768〜1,048,576個(32の倍数で指定可能、デフォルトは262,144個)
  • 推奨サンプリングパラメータ:
  • サンプリングステップ数(--steps): デフォルト50ステップ(ステップ数を減らすと生成は高速化しますが、細部のディテールが損なわれます) – CFG強度(--cfg_strength): デフォルト3.0(入力画像に対してオブジェクトの形状をどの程度厳密に追従させるかを制御します) – タイムシフト(--rescale_t): デフォルト3.0(高い値を設定すると全体の大まかな形状形成により多くのステップを配分し、低い値にすると微細なディテール形成に配分します)
  • 入力モード設定:
  • synthetic(デフォルト): 単一オブジェクトのCGレンダリング画像や生成画像向け。オブジェクトがフレームの1/1.2を占めるようにクロップされます – real: 実写写真向け。オブジェクトがフレームの1/1.7を占めるようにクロップされます
  • 最適化・動作設定:
  • 高速サンプリング機能が標準で有効になっており、GPU上で同じ出力品質を維持しながら約1.7倍高速に動作します。denoiserは torch.compile でコンパイルされ、ガイダンスありとなしのパスが1つのバッチとして実行され、アテンションにはTF32行列積を伴うcuDNNが用いられます(--no_optimize で無効化可能) – DINOv3の精度設定(--dinov3_dtype): デフォルトは bf16(fp32 も指定可能)
  • ライセンス条件:
  • Apache-2.0ライセンスが適用されています

性能・品質

以下は元モデル「speridlabs/idol」のモデルカードで公開されているベンチマーク評価です。1台のNVIDIA H100を用いて各モデルを評価し、入力視点(PSNR、SSIM、LPIPS、IoU)および新規の7視点(DINOv2、CLIP、Sharpness distance)における平均スコアが比較されています。

→ 横にスクロールできます

Model Setting PSNR ↑ SSIM ↑ LPIPS ↓ IoU ↑ DINOv2 ↑ CLIP ↑ Sharpness distance ↓ Request time ↓
Idol 50 steps, 262,144 Gaussians 12.25 0.726 0.213 0.862 0.781 0.885 0.81 6.8 s
TripoSplat 50 steps, 262,144 Gaussians 11.76 0.712 0.225 0.860 0.743 0.868 1.03 9.9 s
TRELLIS Paper setting, 50 + 50 steps 11.89 0.716 0.235 0.845 0.754 0.868 0.97 7.1 s
LGM Default, 65,536 Gaussians 12.46* 0.722 0.237 0.834 0.575 0.784 1.22 1.1 s

公開元が公表したこの比較結果によると、IdolはSSIM(0.726)、LPIPS(0.213)、IoU(0.862)、DINOv2(0.781)、CLIP(0.885)、Sharpness distance(0.81)の各指標において、TripoSplat、TRELLIS、LGMを上回る最も優秀なスコアを達成しています。また、ベースモデルであるTripoSplatと比較して、リクエスト処理時間(Request time)も9.9秒から6.8秒へと短縮されています。一方で、PSNR(12.25)および処理時間(6.8秒)においてはLGM(PSNR 12.46、Request time 1.1秒)に及んでいません。なお公開元の注記によると、LGMは生成結果が視覚的にぼやけているにもかかわらず、PSNRがピクセル二乗誤差を平均する指標であるために数値上は最も高くなっていると説明されています。

また、元モデルの資料では各種GPUにおける処理速度(50ステップ、262,144個のガウス生成時における8画像の中央値)も報告されており、B300での3.4秒、H100での6.7秒、RTX 5090での14.1秒、RTX 4090での19.1秒、RTX 3080での46.2秒など、コンシューマー向けからデータセンター向けまでの処理時間が公開元によって示されています。

得意なこと・想定用途

元モデル「speridlabs/idol」の資料および本リポジトリの解説によると、本モデルは1枚の静止画を入力とし、画像内では見えていない物体の裏側や側面を含めた3次元形状を3D Gaussian Splatting(3DGS)形式で復元することに特化しています。主な用途や得意とする処理は以下の通りです。

  • 多様な画像ソースからの3Dオブジェクト生成: 3D CGのレンダリング画像、画像生成AIによって作成された生成画像、および現実世界を撮影した実写写真のいずれからも3D Gaussian Splattingデータを生成できます。
  • 入力画像に応じた自動フレーミングと背景除去: 内部にBiRefNetを統合しており、入力画像から背景を自動的に除去したうえで被写体を適切な比率にフレーミングして処理を行います。入力画像の種類に応じて2種類のモードが用意されています。
  • synthetic モード: 3D CGのレンダリング画像やAI生成画像向けの設定です。オブジェクトがフレーム全体の1/1.2を占めるようにクロップ処理が行われます。 – real モード: 実写写真向けの設定です。オブジェクトがフレーム全体の1/1.7を占めるようにクロップ処理が行われます。
  • 高解像度・多密度なガウス表現: 生成するガウス数を最小32,768個から最大1,048,576個(約100万個)まで指定可能です。用途やマシンスペックに合わせて、軽量なプレビューから高精細なディテールを持つ表現まで調整できます。
  • 既存のTripoSplatワークフローとの統合: 本モデルはTripoSplatのファインチューニングモデルとして開発されているため、既存のTripoSplat向けワークフロー環境にそのまま組み込んで活用できます。ComfyUI上でノードを構成し、画像生成パイプラインの後段に配置して直接3D化を行うといった運用に適しています。

配布ファイル

Comfy-Org/Idol で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ ComfyUIの配置先
clip_vision/dino_v3_vit_h_bf16.safetensors 1.68GB models/clip_vision/
diffusion_models/idol_fp16.safetensors 741MB models/diffusion_models/
vae/flux2-vae.safetensors 336MB models/vae/
vae/idol_decoder_fp16.safetensors 576MB models/vae/

ComfyUIの配置先は、リポジトリのフォルダ構成が ComfyUI の models/ と対応している場合にだけ示しています。

入手方法

「Comfy-Org/Idol」はHugging Faceのリポジトリから入手可能です。重みファイルは単一ファイル形式の safetensors で配布されています。

ComfyUI環境で本モデルを使用する場合、以下の通りリポジトリ内の各ファイルをComfyUIの所定のディレクトリに配置します。

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── idol_fp16.safetensors
│   ├── 📂 clip_vision/
│   │   └── dino_v3_vit_h_bf16.safetensors
│   ├── 📂 vae/
│   │   ├── flux2-vae.safetensors
│   │   └── idol_decoder_fp16.safetensors

なお、Comfy-Org/Idol自体のリポジトリはgatedではありませんが、元モデルのパイプラインが参照する以下の2つの画像エンコーダー/VAEはHugging Face上でgatedモデルとして公開されています。利用する際には、事前にそれぞれのモデルページで利用規約への同意(アクセス申請)を行い、Hugging Faceアカウントにログイン(hf auth login または HF_TOKEN の設定)しておく必要があります。

また、ComfyUIを介さず元モデルのSDK(idol-sdk)を利用してPythonスクリプトやコマンドラインから実行する場合は、以下の手順で環境を構築できます。Python 3.10以上、PyTorch 2.5以上、およびCUDA対応のNVIDIA GPUが必要です。

git clone https://github.com/speridlabs/idol-sdk.git
cd idol-sdk
pip install -e.

初回実行時に、Hugging Faceのキャッシュディレクトリへ必要な重みが自動的にダウンロードされます。エンコーダーへのアクセス権が取得できていない場合は、ダウンロード開始前に不足している権限が通知されます。

コマンドラインから実行する場合のコマンド例は以下の通りです。生成結果として3DGS形式の .ply ファイル、背景除去後の画像(_input.png)、および推定カメラ情報(_camera.json)が出力されます。

# 実写写真を入力とする場合
python -m idol.sample --image photo.jpg --mode real

# CG画像・生成画像フォルダを入力とする場合
python -m idol.sample --image renders/ --mode synthetic --out outputs

Pythonコードから呼び出す場合は、以下のように IdolPipeline を利用して実行できます。

from idol import IdolPipeline

pipeline = IdolPipeline.from_pretrained("speridlabs/idol")
output = pipeline("photo.jpg", mode="real", seed=42, num_gaussians=1_048_576)
output.gaussian.save_ply("photo.ply")

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

関連記事

次に読むなら

出典