概要
前回のStablediffusionWebUIにて、PNGInfoを用いれば、画像を持っておくだけでプロンプトは覚えなくて良いということを説明しました。
今回は、MajinAIではなくCivitaiにて、画像とプロンプトを拾ってこようかと思います。
Civitaiにアクセス
以下のリンクからアクセス
色々綺麗な画像がたくさんあります。
適当な写真を選択しました。右下のiを押せば、プロンプトなどの情報を見ることができます。
webuiにて画像を生成し、pnginfoに放り込むと、プロンプトが出力されます
Civitaiの画像からプロンプトを得る。
今回は、こちらのページのイラストから、プロンプトを得たいと思います。
右クリックして、普通に名前をつけて保存をします。
そして、pnginfoに放り込むと、なんとプロンプトなどの情報がそのまま表示されます。
このイラストは、モデルにRefSlave-V2というものを用いているので、もしかしたらうまくいかないかもしれませんが、txt2-imgに送ってみましょう。
結構時間がかかる。GPUは頑張っているんだけど。
いかのような理由が出て、落ちてしまう。ここは今回の問題とは別だと思うので、また別の機会に試します。
また、これでやってみると、プロンプトはでてこなかった。
よく見ると、サイトの写真の部分の右下にiがでてこなかった。
ちゃんとiが出ているところであれば、プロンプトが出てくるので、そこを判断するようにしよう。プロンプトがでていないことを確認しよう。
モデルのダウンロード＆使用方法
civitaiでは、追加でモデルをダウンロードすることができる。
右上のフィルターのマークをクリックすると、ざっくりとするとこんな感じ。
・Check point = 複数のモデル単体。
・Textual Inversion = 追加学習の方式
・Hypernetwork = 追加学習の方式
・Aesthetic Gradients = 追加学習の方式
・LoRA = 追加学習の方式
・LyCoRIS = 追加学習の方式5(LoRAの派生形、LoConやLoHAを意味する)
・Control net = 奥行きやポーズを指定する
・Pose = 主にControl Netの素材
・wildcard = プロンプトの単語帳。
モデル単体（CheckPointの場合）
好きな絵を開いたら、Downloadボタンをクリックして、ダウンロードを行う。
今回はVAEファイルがないものなので、1ファイルだけダウンロードする。
ファイルによっては、VAEファイルをいれないといけないものもあるので、それがある場合は両方DLする。
ダウンロードしたモデルを、指定された場所に置く。
/stable-diffusion-webui/models/Stable-diffusion/の配下にいれる。
VEAは、/stable-diffusion-webui/models/VAEに入れる。
その後、./webui.shで立ち上げる。
その後、新しいモデルが入ったことを確認できたら、それに変更する。
適当なプロンプトを入力した後、Trigger Wordsをプロンプトの中に入れる。
これで生成してみると、モデルに似た絵が出てくるはず。
LoRAなど、追加で拡張するモデルについて
追加学習＝キャラや画風を学んだデータを用意し、生成結果に影響を与えるもの。今回はLORAで進めていく。
これを使うためにまず、使用しているStable diffusionを最新版にする。追加学習のものは、日々アップデートで変化している可能性が高いため。
git pull --rebase origin master
その後、Type LORAになっているものを選択し、DLする。
DLできたら、/stable-diffusion-webui/models/Loraの中に移動させる。
その後、Webuiを再起動。./webui.shで立ち上げる。
拡張機能でLoraが入っていることを確認する。
この状態で、Genarateしたのこれをクリック。
そして、下に出てくる拡張機能をクリックすると、拡張機能を使用するためのプロンプトが見れる。これを使えばプロンプトを忘れることもない。
この状態で、普通にプロンプトを打ってみよう。
すると、モデルにあったような画像が出力されてくれる。ちょっと薄いかもしれないが、モデルはここを参照した。
影響が薄い（わかりにくい）場合は<lora:xxxx :1>の :1の数字を変えて強調する。
・<lora:epoch-00xxx :0.5> = 弱くする
・<lora:epoch-00xxx :1.0> = 普通
・<lora:epoch-00xxx :1.6> = 強くする
これを参考に試してみる。今度は <lora:auDeleteAuStyleLora_offset:1.7> にしてみる。
やりすぎな気もしたけど、これはこれであり！
参考サイト