「idol」3D Gaussian Splatting生成モデル:配布ファイル一覧

「idol」3D Gaussian Splatting生成モデル:配布ファイル一覧

作例は配布元のモデルカードで公開されています。

基本情報

項目 内容
リポジトリ speridlabs/idol
まとめページ idol のまとめ(記事2本)
公開日 2026-10-29
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(公式リポジトリsperidlabsが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

speridlabsより、単一の画像から3D Gaussian Splatting(3DGS)データを生成するモデル「Idol」が公開されました。

本モデルは1枚の物体画像(写真、CGレンダリング、AI生成画像など)を入力すると、自動で背景の除去と構図調整を行い、画像に写っていない裏側を含めて最大1,048,576個の3D Gaussianを出力します。生成結果は標準的な3DGS形式である.plyファイルとして書き出されます。

スペック

公開資料に記載されているモデル構成や仕様、推奨設定は以下の通りです。

  • 総パラメータ数: 約1.80B(約18億)
  • コンポーネント構成:
  • DiT(ノイズ除去器): 370.6M(GPU上ではFP16トランスフォーマーブロック、FP32埋め込みおよび正規化層) – Octreeデコーダー: 50.8M(FP16トランスフォーマーブロック、FP32埋め込みおよび正規化層) – Gaussianデコーダー: 237.3M(FP16トランスフォーマーブロック、FP32埋め込みおよび正規化層) – BiRefNet(背景除去): 220.7M(FP16) – DINOv3 ViT-H+/16(画像エンコーダー): 840.6M(bf16) – FLUX.2 VAE: 84.1M(bf16、FP32チェックポイントをロード時にキャスト)
  • 出力仕様: 標準的な3DGS形式の.plyファイル、および入力画像(背景除去・クロップ後)の_input.png、推定カメラパラメータの_camera.json
  • 出力Gaussian数(--num_gaussians): デフォルトは262,144個(32,768から1,048,576まで32の倍数で指定可能)
  • 推奨サンプリングステップ数(--steps): 50ステップ(ステップ数を減らすと高速化しますが詳細が失われます)
  • ガイダンススケール(--cfg_strength): デフォルト3.0(Classifier-free guidance、画像にどれだけ忠実に従うかを制御)
  • 時間シフト(--rescale_t): デフォルト3.0(数値を上げると全体の形状により多くのステップを割り当て、下げると微細なディテールに割り当てます)
  • 入力モード(--mode): synthetic(デフォルト、CGレンダリングや生成画像向けで物体がフレームの1/1.2を占めるクロップ)およびreal(写真向けで物体がフレームの1/1.7を占めるクロップ)
  • エンコーダ精度(--dinov3_dtype): デフォルトはbf16(fp32指定時はDINOv3エンコーダーを完全精度で実行)
  • 最適化オプション: デフォルトで高速サンプリングが有効です(torch.compileによるデノイザーのコンパイル、guidedとunguidedのパスの1バッチ化、cuDNNとTF32行列積を用いたアテンション処理により、出力品質を保ちながら約1.7倍高速化されます)
  • ライセンス条件: リポジトリ全体にはApache 2.0ライセンスが適用されています。ただし、入力処理に利用する画像エンコーダー(facebook/dinov3-vith16plus-pretrain-lvd1689mおよびblack-forest-labs/FLUX.2-dev)はHugging Face上で個別の利用規約への同意が必要な制限付きモデルとなっています

性能・品質

公開元が公表しているベンチマーク評価では、Idol、TripoSplat、TRELLIS、LGMの4モデルを対象に入力視点(PSNR、SSIM、LPIPS、IoU)および7つの新規視点(DINOv2、CLIP、Sharpness distance)でのスコアが測定されています。計測環境はモデルごとに1 × H100が用いられています。

→ 横にスクロールできます

Model Setting PSNR ↑ SSIM ↑ LPIPS ↓ IoU ↑ DINOv2 ↑ CLIP ↑ Sharpness distance ↓ Request time ↓
Idol 50 steps, 262,144 Gaussians 12.25 0.726 0.213 0.862 0.781 0.885 0.81 6.8 s
TripoSplat 50 steps, 262,144 Gaussians 11.76 0.712 0.225 0.860 0.743 0.868 1.03 9.9 s
TRELLIS Paper setting, 50 + 50 steps 11.89 0.716 0.235 0.845 0.754 0.868 0.97 7.1 s
LGM Default, 65,536 Gaussians 12.46* 0.722 0.237 0.834 0.575 0.784 1.22 1.1 s

公表された数値によると、IdolはSSIM(0.726)、LPIPS(0.213)、IoU(0.862)、新規視点でのDINOv2(0.781)、CLIP(0.885)、Sharpness distance(0.81)といった多くの幾何・知覚指標において比較対象モデルの中で最も優れたスコアを達成しています。一方で、PSNRにおいてはLGMの12.46に対して12.25にとどまり、リクエスト処理時間(Request time)についてもLGMの1.1秒やTRELLISの7.1秒に対し、Idolは6.8秒(TripoSplatの9.9秒よりは高速)となっています。なお、公開元の注記によれば、LGMは視覚的にぼやけた結果であるにもかかわらず二乗画素誤差を平均するPSNRの特性上最も高い数値が出ていると説明されています。

また、各種GPUにおける50ステップ・262,144個のGaussian生成時の処理時間(Request time、8画像の初回コンパイルを除いた中央値)として、公開元は以下の計測結果を示しています。

GPU VRAM Request time
B300 269 GB 3.4 s
B200 179 GB 3.6 s
H200 140 GB 6.6 s
H100 80 GB 6.7 s
RTX 5090 32 GB 14.1 s
A100 80 GB 16.3 s
L40S 45 GB 16.6 s
RTX 4090 24 GB 19.1 s
RTX 3080 10 GB 46.2 s
L4 22 GB 54.6 s

得意なこと・想定用途

Idolは、単一の静止画から物体の全周囲にわたる3D構造を短時間で再構築することを得意としています。主な想定用途と特徴は以下の通りです。

  • 単一画像からの3Dアセット生成: 1枚の画像のみから、入力画像には写っていない陰の面や背面まで推測し、立体的かつ破綻の少ない3D Gaussianデータを生成できます。ゲーム制作、VR/AR向けのアセット試作、3Dプリント用の形状検討などに活用できます。
  • 写真・CG・生成画像の幅広い入力対応: 実写撮影した写真だけでなく、3Dレンダリング画像や画像生成AIで作成された二次元のイラスト・コンセプトアートからも高精度な3DGSデータを生成できます。
  • 入力に応じた構図の自動最適化: モデル内部でBiRefNetによる背景除去が行われ、入力ソースに合わせた2つのモード(syntheticおよびreal)によって被写体のトリミング余白が自動調整されます。これにより、ユーザー側で事前に手動で背景切り抜きや構図の正規化を行う手間が省けます。
  • 用途に応じた詳細度の調整: 生成するGaussianの数を32,768個から最大1,048,576個まで32の倍数単位で指定可能です。軽量な表示が求められる環境向けの低密度なデータから、細部まで精密に再現したい高品質なアセットまで、目的に応じて出力量をコントロールできます。
  • 標準形式での出力と連携性: 生成結果は業界標準である3DGSの.ply形式で書き出されるため、既存の一般的なGaussian Splattingビューアやレンダラー、外部ツールへそのまま取り込んで活用できます。また、背景除去済みの画像(_input.png)および推定カメラ情報(_camera.json)も同時に出力されるため、後段のパイプラインとの連携が容易です。

配布ファイル

speridlabs/idol で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
birefnet.safetensors 444MB
decoder.safetensors 203MB
decoder_gs.safetensors 949MB
denoiser.safetensors 1.48GB

入手方法

IdolのコードおよびモデルはGitHubとHugging Faceにて公開されています。重みファイルはsafetensors形式で配布されており、SDK経由で自動的に取得されます。

本モデルを利用するにあたり、重要な前提条件として2つの外部エンコーダーに対する利用規約への同意が必要です。Idol本体はApache 2.0ライセンスで制限なく公開されていますが、入力処理に使用される以下の2モデルはHugging Face上で利用規約への同意(Gatedアクセスの承認)が求められます。

  • facebook/dinov3-vith16plus-pretrain-lvd1689m
  • black-forest-labs/FLUX.2-dev(VAE部分のみが利用されます)

事前にHugging Faceアカウントで各モデルの利用規約に同意したうえで、ターミナルでhf auth loginを実行して認証を完了させるか、環境変数HF_TOKENを設定してください。アクセス権がない状態で実行した場合、モデルのダウンロードは開始されず不足している権限がエラーメッセージとして表示されます。

環境構築の手順は以下の通りです。実行にはPython 3.10以上、PyTorch 2.5以上、およびCUDAに対応したNVIDIA製GPUが必要です。

git clone https://github.com/speridlabs/idol-sdk.git
cd idol-sdk
pip install -e.

手動で重みファイルを別途ダウンロードする必要はありません。初回実行時に、Hugging FaceのキャッシュディレクトリへIdolの重みおよび前述の画像エンコーダーが自動的にダウンロードされます。

CLIから生成を行う場合は、以下のコマンドを実行します。入力画像の性質に応じて--modeにreal(写真向け)またはsynthetic(CG・生成画像向け)を指定してください。

# 写真から生成する場合
python -m idol.sample --image photo.jpg --mode real

# レンダリング画像ディレクトリから生成し、出力先を指定する場合
python -m idol.sample --image renders/ --mode synthetic --out outputs

Pythonスクリプトから直接パイプラインを呼び出すことも可能です。以下のようにidol.IdolPipelineを用いて読み込みと生成を行います。

from idol import IdolPipeline

pipeline = IdolPipeline.from_pretrained("speridlabs/idol")
output = pipeline("photo.jpg", mode="real", seed=42, num_gaussians=1_048_576)
output.gaussian.save_ply("photo.ply")

生成時には、シード値(--seed)、サンプリングステップ数(--steps、デフォルト50)、ガイダンス強度(--cfg_strength、デフォルト3.0)、時間シフト(--rescale_t、デフォルト3.0)、生成するGaussian数(--num_gaussians、デフォルト262144)などのオプションフラグを必要に応じて調整できます。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

関連記事

次に読むなら

出典