「LongCat-Video-Avatar」音声駆動型の動画生成モデル:ComfyUIの配置先

「LongCat-Video-Avatar」音声駆動型の動画生成モデル:ComfyUIの配置先

基本情報

項目 内容
リポジトリ Comfy-Org/LongCat-Video-Avatar
公開日 2026-11-19
ライセンス mit
配布形式 safetensors
出典の種類 公開元の一次情報(Comfy-Org公式リポジトリ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Comfy-Orgより、ComfyUIで利用可能な「LongCat-Video-Avatar」のモデルファイルが公開されました。このモデルは、音声入力を基に人物の動画を生成する、オーディオ駆動型のビデオ生成モデルです。

本リポジトリで提供されているファイルは、meituan-longcat/LongCat-Video-Avatar-1.6をComfyUI向けに再パッケージ化したものです。テキストや画像、そして音声といった複数の入力を組み合わせることで、自然なリップシンクを伴うアバター動画を作成できます。

スペック

本リポジトリに含まれる主な構成要素は以下の通りです。

  • ベースモデル: meituan-longcat/LongCat-Video-Avatar-1.6
  • 対応する入力・出力形式:
    • Audio-text-to-video(音声とテキストから動画を生成) – Audio-image-text-to-video(音声と画像、テキストから動画を生成) – Audio-driven-video-continuation(音声による動画の継続生成)
  • 生成可能な動画の仕様:
    • 単一キャラクターおよび複数キャラクターの生成に対応しています。 – 10分を超える長尺動画の生成が可能です。
  • 配布されている主なファイル:
    • Diffusionモデル: longcat-avatar-1.6_int8_convrot.safetensors – Text Encoder: umt5_xxl_fp16.safetensors、umt5_xxl_int8_convrot.safetensors – VAE: wan_2.1_vae.safetensors – LoRA: longcat-avatar-1.6_dmd_lora_rank128_bf16.safetensors、longcat-avatar-1.6_opsd_lora_rank128_bf16.safetensors
  • ライセンス: MIT License

性能・品質

元モデルであるLongCat-Video-Avatar-1.6の性能について、モデルカードでは人間による評価実験の結果が示されています。33,051件の有効な投票に基づいた「Human Preference Arena」において、以下の6つのシステムと比較が行われました。

モデル名 評価結果
OmniHuman-2.0 1位
LongCat-Video-Avatar-1.6 2位 (Bradley–Terry Elo score: 1068.1)
LongCat-Video-Avatar 1.5 –
HeyGen –
OmniHuman-1.5 –
Kling Avatar 2.0 –

この評価において、LongCat-Video-Avatar-1.6はOmniHuman-2.0には及びませんでしたが、前バージョンの1.5やHeyGen、OmniHuman-1.5、Kling Avatar 2.0よりも高い評価を得ています。

また、モデルカードでは以下の品質向上が報告されています。

  • リップアニメーションの自然さと安定性の向上: 過度に強調されたり、無理があったりする口の動き、唇の色が赤くなりすぎる現象、および口元の時間的な不安定さが軽減されています。
  • 長尺動画生成の安定化: 自己回帰的な動画継続における誤差の蓄積が抑制されています。これにより、視覚的な品質、アイデンティティの一貫性、および時間的なコヒーレンスを維持したまま、10分を超える動画を生成できます。
  • 推論の高速化: エンドツーエンドのパイプラインおよびモデル実行の最適化により、より効率的なデプロイとサービングが可能になっています。

得意なこと・想定用途

元モデルであるLongCat-Video-Avatar-1.6は、オーディオ駆動による人間(アバター)の動画生成に特化しています。具体的には、以下のような用途や特徴が挙げられています。

  • 多様な入力組み合わせ: 音声とテキストのみ、あるいは音声と画像とテキストを組み合わせた入力から動画を生成できます。
  • 動画の継続生成: 音声入力を利用して、既存の動画を継続して生成(Video Continuation)することが可能です。
  • 複数キャラクターへの対応: 単一のキャラクターだけでなく、複数のキャラクターのアニメーション生成にも対応しています。
  • 長尺動画の生成: 自己回帰的な手法による誤差の蓄積を抑えることで、視覚的な品質やキャラクターの一貫性を保ちながら、10分を超えるような長い動画を作成することを得意としています。
  • 自然な表現: 唇の動き(リップシンク)の自然さや、顔および身体の動きの協調性を高めるよう設計されています。

配布ファイル

Comfy-Org/LongCat-Video-Avatar で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ ComfyUIの配置先
diffusion_models/longcat-avatar-1.6_int8_convrot.safetensors 15.97GB models/diffusion_models/
loras/longcat-avatar-1.6_dmd_lora_rank128_bf16.safetensors 1.26GB models/loras/
loras/longcat-avatar-1.6_opsd_lora_rank128_bf16.safetensors 1.26GB models/loras/
text_encoders/umt5_xxl_fp16.safetensors 11.37GB models/text_encoders/
text_encoders/umt5_xxl_int8_convrot.safetensors 5.69GB models/text_encoders/
vae/wan_2.1_vae.safetensors 254MB models/vae/

ComfyUIの配置先は、リポジトリのフォルダ構成が ComfyUI の models/ と対応している場合にだけ示しています。

入手方法

本リポジトリのファイルは、ComfyUIの各モデルフォルダに配置して使用します。

  • 配布形式: safetensors形式で提供されています。
  • 配置場所:
    • Diffusionモデル: ComfyUI/models/diffusion_models/ – LoRA: ComfyUI/models/loras/ – Text Encoder: ComfyUI/models/text_encoders/ – VAE: ComfyUI/models/vae/

なお、本モデルの利用にあたってHugging Face上でのライセンス同意は必要ありません。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

関連記事

次に読むなら

出典