プロンプトだと上手くポーズを再現できないなぁ…
そんなときはControlNetのOpenposeがオススメだよ！
この記事は、このような方に向けて書いてます。
ControlNet とは
ControlNet とは、lllyasvielさんが開発した、Stable Diffusionで「形」や「構図」をコントロールして、 思い通りの画像を作れる拡張機能のことです。
テキストプロンプトだけでは再現できない構図も、
ControlNet を使うことで簡単に再現することができます。
Openpose とは
OpenPoseとは、カーネギーメロン大学（CMU）の Zhe Caoら が「Realtime Multi-Person pose estimation」の論文で発表した、
画像や動画からポーズを抽出して、棒人間を作成するモデルのことです。
ControlNet Openpose モデルのダウンロード
1. Openpose モデルのダウンロード
SD1.5 Openpose モデルをダウンロードする
SD1.5 Openpose のモデルは、lllyasvielさんが公開しています。
SDXL Openpose モデルをダウンロードする
SDXL Openpose のモデルは、さまざまな開発者が公開しています。
個人的に xinsir さんのモデルは、精度が高くて使いやすいと思いました。
2. Openpose モデルをフォルダに配置する
Openpose モデルを以下のフォルダに配置します。
ComfyUI/models/controlnet
ControlNet Openpose ノード（ComfyUI’s ControlNet Auxiliary Preprocessors）をダウンロードする
1. Custom Nodes Manager を選択する
ComfyUI-Manager を開いて、Custom Nodes Manager を選んでください。
2. comfyui_controlnet_aux をインストールする
検索欄で「aux」と入力して、
「comfyui_controlnet_aux」のインストールボタンをクリックします。
ControlNet Openpose のワークフロー
公式のワークフロー
ComfyUI の公式のワークフローは、ComfyUI_examples に公開されています。
サンプル画像を ComfyUI の画面にドラッグ＆ドロップすると、ワークフローが読み込めます。
個人的に作ったワークフロー
以下のワークフローは、
公式のワークフローをもとに、
僕が分かりやすく整理したものです！
以下のファイルから、ワークフローをダウンロードできます。
JSONファイルを ComfyUI の画面にドラッグ＆ドロップすると、ワークフローが読みこめます。
ControlNet Openpose のノード
Apply ControlNet のノード
Load ControlNet Model のノード
こちらのノードで、ControlNet のモデルを選びます。
OpenPose Pose のノード
こちらのノードで、画像からポーズを抽出します。
「Load Image」のノードに、ポーズを抽出したい画像を入力している場合は、
「OpenPose Pose」のノードは必要です。
なぜなら、画像から棒人間を抽出する必要があるからです。
「Load Image」のノードに、棒人間の画像を入力している場合は、
「Openpose Pose」のノードは不要です。
なぜなら、画像から棒人間を抽出する必要がないからです。
ポーズ画像のダウンロード
こちらは、ポーズ画像がダウンロードできるWebサイトを紹介します。
画像からポーズを抽出してもいいのですが、
自分でポーズをカスタマイズして使うこともできます。
どちらも会員登録が不要で、無料で使うことができます！
Openposes
こちらのサイトでは、予め作られているポーズをダウンロードできます。
Posemy.art
こちらのサイトでは、自分でポーズをカスタムしてダウンロードできます。
まとめ
いかがでしたでしょうか。
この記事では、ControlNet Openpose について紹介しました。
ControlNet Openpose を導入すると、
テキストプロンプトでは伝えるのが難しかった、細かいポーズを再現することができます！
この記事が、あなたのお役に立てればとても嬉しいです。
最後まで読んでいただき、ありがとうございました。
コメント