株式会社ピーアールオー（あったらいいな！を作ります） Advent Calendar 2023Day 2

sd-webui-train-toolsでLoraを作成する

Posted at 2023-12-24

はじめに

Loraを作成する方法の一つにsd-webui-train-toolsがあります。
本記事ではこちらを使用してLoraする方法を簡単に紹介します。

sd-webui-train-toolsはGitHubで公開されており、READMEに基本的な使用方法が記載されています。
中国語ですが、気になった方は確認してみてください。
→https://github.com/liasece/sd-webui-train-tools

sd-webui-train-toolsのインストール

筆者は以下サイトを参考にインストールを行いました。
本記事ではインストールの説明は割愛させていただきます。
https://romptn.com/article/18453

Lora作成

Loraで追加学習可能なものは多岐にわたりますが、本記事では「キャラクター」と「風景」のLoraを取り扱います。
著作権的にネット上に存在するソースの使用は避け、自身で作成・収集した画像をもとに作成していきます。

キャラクター編

学習元の画像の準備

mimmiというキャラクターを作成しました。
この子のLoraを作ります。

30枚のイラストを作成準備しました。

Lora作成

Train Toolsタブからsd-webui-train-toolsを開き「Create Project」ボタンをクリックします。

プロジェクト名を入力して「OK」ボタンをクリックします。

同じように「Create Version」ボタンからバージョンを設定します。

以下の画面表示となるため「Upload Dataset」部分に画像をドラッグアンドドロップします。

画像の1枚ずつのアップロードができず複数画像を一度にアップロードする必要があるため注意してください。（細かいですが初回に少しつまずいたため共有でした。）

アップロードが終わると以下のように表示されます。
続いて「Update Dataset」ボタンをクリックします。パラメータはデフォルトを使用しています。

画像が取り込まれると以下のように表示されます。

続いて画面下部でパラメータを設定して「Begin Train」ボタンをクリックします。
パラメータについては学習元画像の枚数などにより適切な値が異なるため、調整が必要になります。今回は画像のように設定しました。

Lora作成には時間がかかるため、できるまで時間をつぶします。
作成が終わるとstable-diffusion-webui\extensions\sd-webui-train-tools配下にLoraが作成されていることが確認できます。

作成したLoraで画像生成

Loraをstable-diffusion-webuiの所定のディレクトリに配置後、PromptでLoraを適用して実行したところ、以下のエラーが出ました。
NansException: A tensor with all NaNs was produced in Unet. This could be either because there's not enough precision to represent the picture, or because your video card does not support half type. Try setting the "Upcast cross attention layer to float32" option in Settings > Stable Diffusion or using the --no-half commandline argument to fix this. Use --disable-nan-check commandline argument to disable this check.

以下サイトの通りに--no-halfオプションをつけたところ解決しました。
→https://www.ipentec.com/document/software-stable-diffusion-error-nans-exception-a-tenor-with-all-nans-was-produced-in-unet

以下画面から再度「Generate」します。