こんにちは、ティールです！
この記事では、HunyuanVideo で画像から動画を作成する方法を解説します！
HunyuanVideo とは？
HunyuanVideoとは、Tencent が発表したオープンソースの動画生成モデルです。
HunyuanVideoは、オープンソースモデルの中で最も多くのパラメータを備えていて、130億のパラメータを持っています。
これにより、高い物理的精度とシーンの一貫性を備えたビデオコンテンツを生成します。
HunyuanVideo のモデルのダウンロード
まずは、モデルをダウンロードしていきます。
HunyuanVideoのモデルは、容量が大きいのでダウンロードに時間がかかります。
Checkpoint をダウンロードする
1. Checkpoint をダウンロードする
Checkpoint を、以下の URL からダウンロードしてください。
- hunyuan_video_image_to_video_720p_bf16.safetensors
2. Checkpoint をフォルダに配置する
モデルを以下のフォルダに配置します。
「ComfyUI/models/diffusion_models」
VAE をダウンロードする
1. VAE をダウンロードする
VAE を、以下の URL からダウンロードしてください。
- hunyuan_video_vae_bf16.safetensors
2. VAE をフォルダに配置する
VAE を以下のフォルダに配置してください。
「ComfyUI/models/vae」
CLIP をダウンロードする
1. CLIP をダウンロードする
CLIP を、以下の URL からダウンロードしてください。
- clip_l.safetensors
- llava_llama3_fp16.safetensors
2. CLIP をフォルダに配置する
CLIP を、以下のフォルダに配置してください。
「ComfyUI/models/clip」
CLIP Vision をダウンロードする
1. CLIP Vision をダウンロードする
CLIP Vision を、以下の URL からダウンロードしてください。
- llava_llama3_vision.safetensors
2. CLIP Vision をフォルダに配置する
CLIP Vision を、以下のフォルダに配置してください。
「ComfyUI/models/clip_vision」
HunyuanVideo の image to video のワークフロー
ComfyUI の公式サンプルページに、HunyuanVideo のワークフローが公開されています。
サンプル画像を ComfyUI の画面にドラッグ＆ドロップすると、ワークフローが読み込めます。
英語で書かれていて分からないときは、
「Webページを右クリック → 日本語に翻訳」を選択すると、ページを日本語に翻訳できます。
ワークフローをダウンロードする
以下のワークフローは、僕が個人的に分かりやすく作りました。
公式のワークフローをそのままに、グループでまとめてみました。
以下のファイルから、ワークフローをダウンロードできます。
SVGファイルを ComfyUI の画面にドラッグ＆ドロップすると、ワークフローが読み込めます。
ノードにモデルをセットする
ダウンロードしたモデルをノードにセットしてください。
HunyuanVideo を使ってみた！
HunyuanVideoを、実際に動かしてみました！
アニメのイラストは、さすがに再現度が落ちるみたいですね。
動画生成はガチャの要素が高いので、何回か生成しないと一貫性のあるものが作れませんでした。
しかし、オープンソースの中ではとても綺麗な映像ができたのではないでしょうか！
ここから改良が進んでいけば、有料ツールと遜色なくなるかもれません。
まとめ
いかがだったでしょうか。
HunyuanVideoは、130億以上のパラメータを持っていて、高品質な動画を生成することが可能です。
HunyuanVideo は、必要なパソコンのスペックが高くて、生成に時間がかかるという難点があります。
ですが、GGUF のモデルが発表されたりして、今後は軽量化されていくと思います。
技術の進歩は凄まじく早いので、追いつくのに大変ですね！
この記事が、あなたのお役に立てればとても嬉しいです。
最後まで読んでいただき、ありがとうございました。
コメント