ControlNetで好きなポーズのイラストを生成する

以前だとStable Diffusion WebUI(AUTOMATIC1111)で好きなポーズのイラストを生成する場合、txt2imgの場合、呪文(Prompt)にポーズに関する単語を入れる必要がありました。

ですが、lllyasvielが作成した「ControlNet」を利用することによって、自分の好きなポーズのイラストを生成することができます!

結果

実際に行ったこと

環境

OSWindows 11 (22HS)
CPUCore i7-11700K
メモリ16GB
GPURTX 3070

前提条件

  • Stable Diffusion WebUI(AUTOMATIC1111)がインストールされていること

やったこと

ControlNet拡張機能のインストール

「Extensions」→「Install from URL」→「URL for extension’s git repository」に https://github.com/Mikubill/sd-webui-controlnet.git を入力し、「install」ボタンを押します。

ControlNetモデルのダウンロード

公式のモデルもありますが、容量削減版があるのでそちらをダウンロードします。

こちらからダウンロードできます。

ダウンロードしたものは、Stable Diffusion WebUIフォルダの extensions/sd-webui-controlnet/models に移動させます。

ここまで出来ましたら、モデルと拡張機能を反映させるために Stable Diffusion WebUIの再起動をお願いします。

ポーズ画像の用意

好きなポーズをさせた画像を用意する必要があります。

棒人間に好きなポーズをさせる拡張機能もありますが、最初だととっつきにくいのでデッサンなどで使用されるポーズ作成サイトがあるのでそちらを利用していきます。

https://webapp.magicposer.com/

このサイトで好きなポーズをさせられたら、スクリーンショットで生成したい部分を切り取ります。

全身ポーズも生成させることができますが、生成画像解像度が低いと顔が崩壊しがちになります。

解像度を上げれば顔がしっかりしてくるのですが、その分VRAMと時間が必要になってくるので最初はポーズの一部分だけ切り取って生成させるのをお勧めします。

イラスト生成

img2imgタブに移動します。

イラスト生成に使用するモデルはお好きなものをお選びください。ただし、モデルとControlNetのモデルで相性があるそうです。 今回は「7th_anime_v3_A」のモデルを利用します。

呪文を入力していきます。

positive promptmasterpiece, best quality, 1girl, white hair, medium hair, cat ears, cute, scarf, jacket, outdoors, streets, smile
negative promptlowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name, multiple legs, malformation,

今回、ポーズに関する呪文は抜いておきしょう。

パラメータを設定していきます。

Sampling methodDPM++ 2M Karras
Sampling steps20
CFG Scale7

width, height(幅、高さ)はご自由に設定くださいませ。

ControlNet拡張機能が正しくインストールされていれば、下記のような機能が追加されていると思います。

右の三角マークをクリックすると様々な設定パラメータが出てきます。

「クリックしてアップロード部分」をクリックし、上記で生成したポーズ画像を読み込ませます。

各種パラメータを設定していきます。

Enableチェックを入れます
Preprocessoropenpose
Modelcontrol_openpose-fp16

他のパラメータはデフォルトで大丈夫です。

下記のような画面になればOKです。

あとはいつも通りGenerateを押下すれば記事最初のようなイラストが生成されると思います。

お疲れさまでした!

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です