AppleがFastFrames-S / FastFrames-L動画生成モデルを公開

AppleがFastFrames-S / FastFrames-L動画生成モデルを公開

作例は配布元のモデルカードで公開されています。

基本情報

項目 内容
リポジトリ apple/FastFrames-S
公開元のまとめ Apple のモデルとライセンスのまとめ
公開日 2026-11-17
ライセンス apple-amlr
配布形式 safetensors
出典の種類 公開元の一次情報(公式HuggingFaceリポジトリが出典)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Appleが、テキストから動画を生成する(text-to-video)モデル「FastFrames-S」(1.3B)と「FastFrames-L」(14B)をHugging Faceで公開しました。モデルカードによると、どちらも自己回帰型の2ステップ動画拡散モデルで、480pの動画を「インタラクティブなレイテンシ」で生成するとされています。情報は公式のHugging Faceリポジトリで確認できたものです。なお、論文はarXivで「coming soon」と表示されており、未公開です。

スペック

  • パラメータ数: FastFrames-Sが1.3B、FastFrames-Lが14Bです
  • ベースモデル: FastFrames-Sは Wan-AI/Wan2.1-T2V-1.3B、FastFrames-Lは Wan-AI/Wan2.1-T2V-14B のfinetuneとして登録されています
  • 方式: 自己回帰型の2ステップ動画拡散モデルです
  • 出力: 832 × 480、81フレーム、16fpsです(scripts/generate.py の出力として記載されています)
  • ライセンス: 商用利用の可否など条件の詳細は、今回の資料に記載がありません。利用前にライセンス本文を確認してください
  • 動作条件: Linux x86-64、NVIDIAのGPU、CUDA 12.8対応ドライバが前提です
  • 学習レシピ: FastFrames-Sは、2ステップのフレーム単位Causal Forcing++ジェネレータを固定(frozen)し、その周辺のネットワークを学習しています。FastFrames-Lは、Wan2.1-14BをCausal Forcing++のレシピで2ステップの因果モデルへ蒸留し、ピクセルデコーダとKV refinement networkを学習しています。Lでは、Wan2.1-14Bの潜在表現で学習した因果teacher、consistency蒸留モデル、DMD蒸留モデル、最終ジェネレータ、ピクセルデコーダ、KV refinement networkの各チェックポイントが公開されたと記載されています

推奨のステップ数、サンプラー、CFGスケールについては、資料に記載がありません。

性能・品質

モデルカードに掲載されているのは、FastFrames-S(1 GPU、480p、KVキャッシュ満杯)のコンポーネント別レイテンシです。数値はApple自身が公表したものです。

Component Calls Latency per call Total latency
DiT evaluation, t=1000 1 16.1 ms 16.1 ms
DiT evaluation, t=833 1 16.2 ms 16.2 ms
KV refinement 1 2.2 ms 2.2 ms
Pixel decoder 1 0.9 ms 0.9 ms
Total 35.4 ms (paper: 36 ms)

合計35.4msの大半は2回のDiT評価で、KV refinementとピクセルデコーダは合わせて3ms程度です。ただし、この時間が何を単位とした処理にあたるのかは資料から確認できません。この表だけでは他モデルとの速度比較はできません。ベースラインとの比較はカードが参照するprofiling guideにあるとされていますが、今回の資料には含まれていません。

また、カードは evaluation の手順でVBenchの「Table 1」のQuality / Semantic / Totalスコアを再現できるとしています。ただし、スコアの数値自体は資料に記載がなく、本記事では紹介できません。

このほか、LingBot 1.3Bの最適化版も併せて公開されています。公式モデル比で16倍高速で、カメラ条件付きの操作が滑らかにできるとされています。この数値は公開元の主張です。

得意なこと・想定用途

タグは text-to-video で、テキストのプロンプトから832 × 480、81フレーム、16fpsの動画を作るモデルです。モデルカードが狙いとして挙げているのは「インタラクティブなレイテンシ」での生成です。待ち時間を短くして試行錯誤を繰り返す使い方や、操作に応じて映像を返す用途に向いています。

FastFrames-Sのレイテンシ表(合計35.4ms)は前半のとおりです。この数値は公開元によるものです。

モデルカードは用途として、LingBotのカメラ条件付き操作のデモも挙げています。最適化版のLingBot 1.3Bは、公式モデルより16倍高速で、滑らかなカメラ操作ができるとされています。1 GPUでも8 GPUでも起動できるデモが用意されており、起動後は http://localhost:8000 で操作します。

元モデルからの変更点は次のとおりです。

  • 元モデルは Wan-AI/Wan2.1-T2V-1.3B(S)と Wan-AI/Wan2.1-T2V-14B(L)です
  • 通常の多ステップ拡散を、自己回帰型の2ステップ生成へ蒸留しています
  • 追加で、ピクセルデコーダとKV refinement networkを学習しています

元のWan2.1側のカードによると、1.3Bは480P向け、14Bは480Pと720Pに対応します。ただし、FastFrames側で解像度の選択肢が同じかどうかは、今回の資料からは確認できません。FastFrames側のカードに書かれているのは480pの出力です。

類似モデルとの違い

同じ Wan2.1-T2V-14B を土台にした過去記事に、「LongLive-Plug-Wan2.1-T2V-14B-few-step」:当サイトの生成動画・配布ファイル一覧があります。この記事によると、同モデルはベースモデルに適用するLoRAアダプターで、少ないステップ数での生成を狙っており、動かすにはベースモデルが必要です。

FastFrames-Lは、アダプターではなく蒸留した因果モデル一式のチェックポイントとして公開されています。2ステップの自己回帰生成に加えて、ピクセルデコーダとKV refinement networkまで学習している点が異なります。

もう1本の「LongLive-Plug-Wan2.1-T2V-14B-cfg」動画生成モデル:当サイトの生成動画・配布ファイル一覧は、CFGを条件付きのみの生成へ蒸留し、無条件の推論ブランチを不要にするアダプターです。こちらは単体では数ステップ化の効果を持ちません。両者の速度や品質を直接比べた資料はないため、優劣は判断できません。

配布ファイル

apple/FastFrames-S で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
fastframes-s/kv_refiner.safetensors 692MB
fastframes-s/pixel_decoder.safetensors 255MB
lingbot-1.3b/kv_refiner.safetensors 692MB
lingbot-1.3b/pixel_decoder.safetensors 128MB

入手方法

配布形式は safetensors です。FastFrames-Sは apple/FastFrames-S、FastFrames-Lは apple/FastFrames-L として、Hugging Faceで公開されています。model_facts.gated は false です。

セットアップはリポジトリのルートで次を実行します。動作条件は、Linux x86-64、NVIDIAのGPU、CUDA 12.8対応ドライバです。

uv sync

FastFrames本体とサードパーティの重みは、checkpoint guideに沿って取得します。

テキストから動画を生成するコマンドは次のとおりです。FastFrames-Lを使う場合は --model ff-l にします。

uv run python scripts/generate.py --model ff-s --checkpoint-dir checkpoints \
    --prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4

レイテンシは次のコマンドで計測できます。Lでは --gpus 8 の例が示されています。

uv run python evaluation/latency/benchmark.py ff-s
uv run python evaluation/latency/benchmark.py ff-l --gpus 8

プロジェクトページの20本以上の動画を再現するスクリプトとして、scripts/generate_project_page.py も用意されています。

対応ツールとして記載があるのは、リポジトリ付属のスクリプトとLingBotデモだけです。ComfyUIやDiffusersへの対応は、今回の資料に記載がありません。生成中に必要なメモリの具体的な数値も、資料にありません。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス apple-amlr(商用利用不可): Apple の Machine Learning Research Model License です。非商用の科学研究に限られ、商用の製品・サービスでの利用は明示的に除外されています。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(apple-amlr)は商用利用を認めていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

関連記事

次に読むなら

出典