はじめに
ControlNetを使って構図(背景と人物ポーズ)を与えてAIに絵を描かせた時に自分がはまったポイントを誰かの役に立つかもと書き記しておくメモ
対象読者
- ControlNetを使って構図(背景と人物ポーズ)を与えてAIに絵を描かせるやりかたの事例や、はまりポイントが知りたい
- stable diffusionのwebuiを使ったことがある
- stable diffusionのwebuiのextentionsからsd-webui-controlnetを導入して必要なファイルのsetupを自力で行うことができる
ControlNetとは
ControlNetは、輪郭線、深度、セグメンテーションなどの条件を追加することにより、拡散モデルを制御できる技術。
（ControlNetの詳しい説明やインストール方法の記事は検索するといっぱい出てくるので他の記事参照）
今までの課題
- 4コマ漫画やパラパラアニメなどを書こうとする場合、構図は指定したい
- txt2imgでpromptで構図を与えても思ったような構図の絵を出すのが難しい
- img2imgでラフスケッチを与え場合、strengthを高く指示すると元の構図と大きく変わってしまう。逆にstrengthが低いと元のラフスケッチから変化が少なくAIが絵を描いてくれない
やりたいこと
- 構図は指定しつつ、AIが持つ絵描き能力を存分に発揮させてAIに絵を描かせたい
今回やったこと
背景をdepthmap、人物ポーズをopenposeとして指定してAIに絵を描かせる。
今回は誰でも簡単にこの技術が使えることを説明したいため、背景、人物ポーズとも一枚の写真から抽出する。
手順
webuiのSettingsタブ > ControlNet で Multi ControlNet: Max models amountを2にする
txt2imgタブに戻り、ControlNet-0に写真をドラッグアンドドロップしdepthmapのweightsは1に設定する
ControlNet-1に同じ写真をドラッグアンドドロップしopenposeのweightsは1.5に設定する (1.5にする理由ははまりポイントで説明)
あとは好きなモデルとprompt設定でGenerateするだけ。
過積載のバイクで生活感あふれるミクさんもAI使うと簡単に作れちゃいますね。すべてのありふれた日常の素材が、クリエイターさんの新たな創作の刺激になる新しい世界 #AIart #初音ミク pic.twitter.com/5QFzfqDGuX
— inada (@dev_inada) February 25, 2023
はまりポイント
簡単に出来るかと思ったが、やるといろいろはまった。以下、自分がはまったポイント。誰かのお役に立てば。
openposeの構図指定が効かない
全くポーズ指定が効いてない。線が太いと効かない。ポーズの絵を拡大したりして使うと効かないかもなので注意。
椅子に座らない
MultiControlNetある意味強すぎて、ちょっとパラメータいじるぐらいじゃ構図はどうにもならずこれしか出力されない。おーいみんな元気だせよぉー・・・ごめんよぉーそういうつもりはこれっぽっちもなくて、手前に座らせたかったんだよぅ・・・ (机椅子depth画像は@toyxyz3 さんから拝借) #AIart pic.twitter.com/UhdperDWqY
— inada (@dev_inada) February 22, 2023
ポーズは雰囲気で適当に配置しただけじゃだめ。生成時パラメータではどうにも出来ないので、狙ってポーズを作成して配置する。
ポーズと背景が同化する / ポーズが無視される
openposeのweightはdepthより強めに設定する(例えばdepthが1ならopenposeは1.5)。
これでも駄目な場合はt2i-adapterのdepthとkeyposeを使うとposeが効いてくれる場合がある。
終わりに
ControlNetですが、一枚絵を出すには良いのですが、深度情報(depthmap)や、ポーズ(openpose)にはコマの絵の一貫性を制御する情報がないので、４コマで使ったり、パラパラアニメで使うには工夫が必要です。
特に複数キャラの時は、キャラ毎に分割して生成するなど更なる工夫が必要です。このあたりは背景分離や、LoRA、Latent coupleをうまく使っていく必要があります。