動画生成で最初と最後のフレームを指定したいなぁ…
そんなときは「Wan2.1 FLF2V」がオススメだよ！
FL…なんですかそれ？
この記事は、このような方に向けて書いてます。
Wan2.1 FLF2V とは
Wan2.1 FLF2V とは、AlibabaのAI研究チーム「万象（Wanxiang）」が開発した、オープンソースの動画生成モデルのことです。
FLF2V とは、「First-Last-Frame to Video」の略です。
「最初のフレーム」と「最後のフレーム」を指定すると、AIがその間を自然に補完してくれて、動画を生成してくれます。
Wan2.1 FLF2V のメリット
- 「開始と終了のフレーム」と「テキストプロンプト」で動画を制御できる
- 720p（1280×720）の高解像度を生成できる
- オープンソースのモデル
Wan2.1 FLF2V のデメリット
- 14Bのモデルを動かすには、高性能なGPUが必要になる
- 動画の生成時間が長い
- ComfyUIは、技術的な知識と学習が必要になる
Wan2.1 Fun モデルのダウンロード
Diffusion Model のダウンロード
1. Diffusion Model をダウンロードする
Diffusion Model を、以下の URL からダウンロードしてください。
14Bのモデルは32.8GBであり、ハイスペック
1.3B のモデルは、3.13GB なので、ロースペックのパソコンでも動かせます。
- wan2.1_flf2v_720p_14B_fp16.safetensors
2. Diffusion Model をフォルダに配置する
Diffusion Model を以下のフォルダに配置します。
「ComfyUI/models/diffusion_models」
VAE のダウンロード
1. VAE をダウンロードする
VAE を、以下の URL からダウンロードしてください。
- wan_2.1_vae.safetensors
2. VAE をフォルダに配置する
VAE を以下のフォルダに配置してください。
「ComfyUI/models/vae」
CLIP のダウンロード
1. CLIP をダウンロードする
CLIP を、以下の URL からダウンロードしてください。
- umt5_xxl_fp8_e4m3fn_scaled.safetensors
2. CLIP をフォルダに配置する
CLIP を、以下のフォルダに配置してください。
「ComfyUI/models/clip」
CLIP Vision のダウンロード
1. CLIP Vision をダウンロードする
CLIP を、以下の URL からダウンロードしてください。
- clip_vision_h.safetensors
2. CLIP をフォルダに配置する
CLIP を、以下のフォルダに配置してください。
「ComfyUI/models/clip_vision」
Wan2.1 FLF2V のワークフロー
まずは、ComfyUI のワークフローを読み込んでみましょう！
公式のワークフロー
ComfyUI の公式のワークフローは、ComfyUI Blog に公開されています。
サンプル動画を ComfyUI の画面にドラッグ＆ドロップすると、ワークフローが読み込めます。
個人的に作ったワークフロー
以下のワークフローは、
公式のワークフローをもとに、
僕が分かりやすく整理したものです！
以下のファイルから、ワークフローをダウンロードできます。
JSONファイルを ComfyUI の画面にドラッグ＆ドロップすると、ワークフローが読みこめます。
Wan2.1 FLF2V のノード
こちらでは、Wan2.1 FLF2V で使用するノードを紹介します。
ダウンロードしたモデルを、ノードにセットしてください。
Diffusion Model のノード
VAE のノード
CLIP のノード
CLIP Vision のノード
まとめ
いかがでしたでしょうか。
この記事では、「Wan2.1 FLF2V」について解説しました！
「Wan2.1 FLF2V」は、2枚の画像（開始フレームと終了フレーム）から、高品質な720pの動画を生成できる、革新的なオープンソースAIモデルです。
その高い制御性と自然な動きの再現力により、さまざまな分野での活用が期待されています。
動画生成の技術の進化は凄まじいですね！
この記事が、あなたのお役に立てればとても嬉しいです。
最後まで読んでいただき、ありがとうございました。
コメント