Stable Diffusion Web UIで表情差分を作る

Stable Diffusion Web UI（AUTOMATIC1111）で生成したキャラクターの表情差分（喜怒哀楽）を作成したかったのでそのやり方を記事にします。

結果

表情を変えていくことはできましたが、目が元画像と若干違うなど違和感がでてきます。今回の実験では実施はしませんでしたが、promptに目の条件をしっかりと入れることによって回避することも可能だと思います。

実際に行ったこと

環境

• OS
  • Windows 11 (22HS)
• CPU
  • Core i7-11700K
• メモリ
  • 16GB
• GPU
  • RTX 3070
• ツール
  • Stable Diffusion Web UI(AUTOMATIC1111)
    • GFPGAN
  • お好きなモデル
    • Stable Diffusion
    • Waifu Diffusion
    • novel ai
    • ChillOutMix
    • MeinaMix
    • 7th_anime_v3

前提条件

• Stable Diffusion Web UI(AUTOMATIC1111)がインストールされていること
  • インストールする方法
• 顔修正モデル（GFPGAN）がインストールされていること

やったこと

img2imgのinpaintを開く

基本的にはこの画面で差分を作っていきます。

画像を読み込み差分を作りたい場所を塗りつぶす

画像を開くと、画像上に黒いペンで塗りつぶすことができます。この黒いペンで差分を作り出したいところを塗りつぶします。顔全体を塗りつぶしてもよいですが、前髪が元画像と変わってしまったりとあるので、最小限の塗りつぶしで差分を作り出すのがポイントです。

パラメータの設定

プロンプトはこんな感じです。

ポジティブプロンプトの方に作り出したい差分の情報を入れます。

ネガティブプロンプトは品質向上のための呪文を書きます。

重要なパラメータはDenoising strengthです。このパラメータは入力画像と出力画像と相違度を表しています。この値が小さければ小さいほど元画像を保ち、表情を変化させます。大きい値だと大きな表情の変化が現れます。大体この値は0.5~0.7に設定するのがおすすめです。

Generate

うまくいけばこんな感じになります。