動画生成でControlNetみたいな機能ないのかな…
そんなときは、Wan2.1 Fun Control がオススメだよ！
この記事は、このような方に向けて書いてます。
Wan2.1 とは
Wan2.1とは、アリババが2025年2月にオープンソースとして公開した動画生成モデルのことです。
Wan2.1は、14B（140億パラメータ）バージョンと、1.3B（13億パラメータ）バージョンがあり、パフォーマンスにおいて、既存のオープンソースモデルを上回っています。
さらに「1.3B」のモデルは、8.19GB の VRAM で動かすことができます。
そのため、一般的なGPUで5秒間の480P動画を約4分で生成することができます。
Wan2.1 Fun Control とは
Wan2.1 Fun Control とは、動画のアニメーションをコントロールできるモデルのことです。
具体的に言うと、Stable Diffusion の ControlNet のような機能のことです。
「Canny・Depth・Openpose」などがあります。
Wan2.1 Fun Control モデルのダウンロード
Diffusion Model のダウンロード
1. Diffusion Model をダウンロードする
以下のリンクから、「diffusion_pytorch_model.safetensors」のモデルをダウンロードしてください。
Wan2.1 Fun Control バージョン1.0
Wan2.1 Fun Control バージョン1.1
2. Diffusion Model をフォルダに配置する
Diffusion Model を以下のフォルダに配置します。
「ComfyUI/models/diffusion_models」
VAE のダウンロード
1. VAE をダウンロードする
VAE を、以下のリンクから VAE をダウンロードしてください。
- wan_2.1_vae.safetensors
2. VAE をフォルダに配置する
VAE を以下のフォルダに配置してください。
「ComfyUI/models/vae」
CLIP のダウンロード
1. CLIP をダウンロードする
CLIP を、以下のリンクから、いずれかの CLIP をダウンロードしてください。
- umt5_xxl_fp16.safetensors
- umt5_xxl_fp8_e4m3fn_scaled.safetensors
2. CLIP をフォルダに配置する
CLIP を、以下のフォルダに配置してください。
「ComfyUI/models/clip」
CLIP Vision のダウンロード
1. CLIP Vision をダウンロードする
CLIP を、以下のリンクから、CLIP Vision をダウンロードしてください。
- clip_vision_h.safetensors
2. CLIP をフォルダに配置する
CLIP を、以下のフォルダに配置してください。
「ComfyUI/models/clip_vision」
Wan2.1 Fun Control のワークフロー
Wan2.1 の公式のワークフロー
ComfyUI Wiki に、Wan2.1 Fun Control のワークフローが公開されています。
JSONファイルをダウンロードして、
ComfyUI の画面にドラッグ＆ドロップすると、
ワークフローが読み込めます。
個人的に作ったワークフロー
以下のワークフローは、
公式のワークフローをもとに、
僕が分かりやすく整理したものです！
以下のファイルから、ワークフローをダウンロードできます。
JSONファイルを ComfyUI の画面にドラッグ＆ドロップすると、ワークフローが読みこめます。
Wan2.1 Fun Control のノード
Wan Fun Control のノード
Load Image のノード
「Start Image」のノードには、動かしたい画像を入力して、
「Control Image」のノードには、OpenPoseの動画を入力しました。
まとめ
いかがでしたでしょうか。
この記事では、Wan2.1 Fun Control について紹介しました。
「Wan2.1 Fun Control」は、動画生成の新たな可能性を切り開く強力なツールです。
「Canny・Depth・OpenPose」などで動画をコントロールすることができて、ユーザーの意図に沿った高品質な映像を作ることができます。
この記事が、あなたのお役に立てればとても嬉しいです。
最後まで読んでいただき、ありがとうございました。
コメント