0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

PixAIのLoRA組み合わせを安定させる|生成条件を固定した5段階テスト

0
Posted at

PR|本記事にはプロモーションを含みます。
image.png

PixAIで複数のLoRAを組み合わせたとき、次のような出力になったことはないでしょうか。

  • キャラクターの顔立ちが変わった
  • 狙っていた画風が中途半端になった
  • 色味が濁った
  • LoRAを追加したのに変化が分からない
  • どのLoRAが失敗の原因なのか追えなくなった

LoRAは、キャラクター、画風、色彩などの特徴をモデルへ加える仕組みです。複数のLoRAを組み合わせる「LoRAスタッキング」もできますが、数を増やせば品質が必ず上がるというわけではありません。

PixAIのLoRA組み合わせを安定させるためには、モデルやプロンプトなどの生成条件を固定し、一度に変更する項目を一つに絞ることが大切です。

本記事では、LoRAを組み合わせを安定させるための「5段階テスト」を紹介します。

この記事の結論~LoRAを組み合わせを安定させるために~

  1. LoRAを入れない基準画像を作る
  2. 残したい特徴を担当するLoRAを一つ決める
  3. 理想との差を一つに絞る
  4. 補助LoRAを一つずつ追加する
  5. 生成条件を固定したまま重さを調整する

LoRAの組み合わせが不安定になる3つの理由

複数のLoRAを使って出力が崩れたとき、「相性が悪かった」と判断したくなります。しかし、LoRAの相性だけでは原因を特定したことにはなりません。

まずは、何が出力を不安定にしているのかを理解しましょう。

複数のLoRAが同じ部分へ影響している

image.png

例えば、キャラクターLoRAを使うと、髪型、顔立ち、瞳、衣装などが反映されます。

そこへ画風LoRAを追加したとします。画風LoRAが塗り方や線だけを変えるなら、役割を分けられるかもしれません。しかし、学習内容によっては目の形、輪郭、年齢感、体型まで変化します。

キャラクターLoRAは丸い顔を再現しようとし、画風LoRAはシャープな輪郭へ寄せようとする。このように同じ部分へ異なる特徴が作用すると、AIがどちらを優先するのかが迷ってしまい、顔立ちが安定しにくくなります。

「キャラクター用」「画風用」という名称が違っていても、実際の出力で影響する範囲が重なることはあります。LoRAの名称ではなく、画像のどの部分を変えているかを見る必要があります。

各LoRAの重さが調整されていない

image.png

LoRAには、生成結果へどの程度反映させるかを決める重さがあります。

一つで使ったときに適切だった重さが、複数使用でも適切とは限りません。キャラクターLoRA、画風LoRA、色彩LoRAをすべて強くすると、それぞれの特徴が同時に主張し、顔、線、配色のバランスが崩れることがあります。

また、複数のLoRAの重さは、単純な足し算で考えることはできません。重さ0.5のLoRAを二つ使っても、重さ1.0のLoRAを一つ使った状態と同等の効果にはならないためです。

LoRAごとに学習内容や影響範囲が異なるので、数値だけで結果を予測せず、実際の出力を見て比較します。

LoRA以外の条件まで同時に変えている

image.png

LoRAの重さを変えると同時に、モデル、プロンプト、シード値まで変更すると、何が出力へ影響したのか分からなくなります。

特にシード値が変わると、人物の向き、構図、表情、背景なども変化することがあります。前後の画像に差があっても、それがLoRAによるものとは断定できなくなるのです。

LoRAの組み合わせを検証するときは、ほかの条件を固定し、変更した項目と出力の差を対応させることが重要です。

LoRAの影響を比較する前に生成条件を固定する

ここから行う5段階テストの目的は、追加したLoRAが出力のどこを変えたのか確認することです。

LoRAと同時にモデルやプロンプトまで変更すると、比較の前提が崩れます。最低限、次の条件を固定してください。

固定する項目 固定する理由
モデル 顔立ちや塗りの土台をそろえる
プロンプト 描画する人物や場面を統一する
ネガティブプロンプト 抑制される特徴をそろえる
シード値 構図や人物の差を抑える
画像サイズ 描画範囲と細部の条件を統一する
生成枚数 比較するサンプル数をそろえる
LoRA以外の設定 別機能による変化を除外する

また検証条件は、次のような形式で記録しておくと再利用する時に便利です。

model: 使用するモデル名
prompt: 固定するプロンプト
negative_prompt: 固定するネガティブプロンプト
seed: 固定するシード値
size: 画像サイズ
count: 生成枚数
main_lora: 中心となるLoRA
sub_lora: 追加する補助LoRA
changed_value: 今回変更した項目

今回の比較で何を変え、何を変えなかったのか説明できる状態にしておきましょう。

PixAIのLoRA組み合わせを検証する5段階テスト

PixAI公式のLoRAスタッキングガイドでも、LoRAを重ねる前にモデルの不足を診断し、一つのLoRAで一つの表現不足を補うやり方が示されています。

ここでは、そのやり方を踏まえて、LoRA組み合わせを検証する出力比較へ落とし込みます。

1.モデル単体の基準画像を作る

image.png

最初に、LoRAを一つも追加せず、使用するモデルと固定したプロンプトだけで画像を生成します。ここで確認するのは、モデルがもともと持っている傾向です。

  • 顔は丸いか、シャープか
  • 線は太いか、細いか
  • 彩度は高いか、低いか
  • 塗りは軽いか、重いか
  • 年齢感は狙いと合っているか

LoRAを入れる前から色が暗いなら、後から追加したLoRAだけが原因でない可能性があります。この画像を、以降の変化を判断する基準として保存します。

2.中心となるLoRAを一つだけ追加する

image.png

次に、作品で最も残したい、表現したい特徴を担当するLoRAを一つ追加します。

同じキャラクターを保ちながら画風を変えたいなら、キャラクターLoRAを中心に添えます。特定の画風を維持しながら人物や構図を変えたいなら、画風LoRAを中心にします。どの特徴を失いたくないかで判断してください。

中心となるLoRAを一つに絞ることで、補助LoRAを追加した後も、守るべき基準が明確になります。

3.理想画像に近づける要素を一つに絞る

image.png

中心LoRAだけで生成した画像と、作りたい画像(理想画像)のを比較検討します。

このとき、「もっときれいにしたい」「雰囲気を良くしたい」といった曖昧な目標では、次に何を変更すべきか判断できません。

例えば、次のように差を具体化します。

  • 線をもう少し軽くしたい
  • 色彩を明るくしたい
  • 顔立ちは維持して年齢感だけ上げたい
  • 塗りを水彩風に寄せたい
  • 背景の空気感を柔らかくしたい

一度に直す問題を一つに絞れば、追加したLoRAが目的どおりに働いたか確認できます。

衣装、表情、背景など、プロンプトで調整できる内容なら、LoRAを追加しない選択も必要です。

4.補助LoRAを一つずつ追加する

image.png

不足している要素が決まったら、その役割に合う補助LoRAを一つだけ追加します。

キャラクターLoRAを中心にして線を軽くしたいなら、線や塗りを調整する画風LoRAを追加する、といった感じです。

結果を確認する前に、色彩LoRAやライティング系LoRAまで同時に入れてはいけません。複数をまとめて追加すると、どのLoRAが成功または失敗へ影響したのか分からなくなります。

検証 中心LoRA 補助LoRA 確認結果
A キャラクター なし 顔と髪型は安定
B キャラクター 画風A 線が軽くなった
C キャラクター 画風A+色彩B 顔色が濁った

例えば上記のケースなら、出力が変化したのは色彩Bを追加した時点です。色彩Bを弱めるか外し、検証Bの構成へ戻します。

5.生成条件を変えずにLoRAの重さを調整する

image.png

最後に、モデル、プロンプト、シード値などを固定したまま、補助LoRAの重さだけを変更します。

最初から大きく動かすのではなく、低め、中間、高めのように段階を分けて比較します。ただし、すべてのLoRAに共通する正解値はありません。LoRAの配布ページに推奨設定やトリガーワードが記載されているなら、先に確認して試しましょう。

ほぼ理想に近いものの影響が強すぎるなら、重さを下げることで、欲しい特徴だけを残していきます。反対に、重さを上げても変化がないときは、数値ではなく次の項目を疑います。

  • モデルとLoRAの系統が合っているか
  • 必要なトリガーワードを入力しているか
  • プロンプトやネガティブプロンプトと競合していないか
  • 似た役割のLoRAに影響を打ち消されていないか

軽微な出力失敗ケースでの応急処置

5段階テストはより確実なLoRA組み合わせを安定させるアプローチといえます。しかし、少しの修正で理想イラストに近づけそうな場合は、下記の応急処置も有効です。

出力の失敗 最初に試す操作 疑う理由
顔が変わった 最後に追加したLoRAを弱める 輪郭や目への影響が重なった可能性がある
色が濁った 色彩方向の重複を確認する 複数要素が同じ色方向へ作用している可能性がある
画風が曖昧 中心となる画風を一つに絞る 異なる線や塗りが競合している可能性がある
全体が不自然 中心LoRAだけの構成へ戻す 複数の変更が混ざり、原因を追えなくなっている
LoRAが効かない モデルとトリガーワードを確認する 重さ以外の条件に問題がある可能性がある

また、1枚の画像を修正するだけということであれば、PixAIの編集機能(Reference Pro、Edit Pro、連続編集、ミオエージェントなど)を使っても良いでしょう。簡単な日本語指示で修正は完了します。

PixAIならブラウザ上で比較検証を進められる

image.png

ここまでの検証は少し難しく見えるかもしれません。ローカル環境を使用するなら、モデルや生成環境の準備も必要です。

PixAIなら、モデルの選択、LoRAの追加、重さの変更、画像生成までブラウザ上で完結します。アニメAI生成だけでなく、AI画像編集、マンガ制作、動画制作まで役立たせることができます。

毎日受け取れる無料クレジットを使えば、LoRAの組み合わせや重さの比較も試せます。初めてPixAIを利用する方は、紹介コード「CH2ZYWVH」で登録すると、画像生成に使える20,000クレジットを受け取れます。是非ご利用ください。

FAQ

キャラクターLoRAと画風LoRAは一緒に使えますか?

使用できます。ただし、画風LoRAが目、輪郭、年齢感などへ影響してしまうと、キャラクターLoRAと競合することがあります。

最初にキャラクターLoRA単体の出力を保存し、画風LoRAを追加した後に顔や髪型がどう変化したか見てみましょう。

LoRAを追加する順番で結果は変わりますか?

順番ではなく、「重さ」で影響力は変かします。しかし、メインとなるLoRAを最初に設定すると、見やすく、管理がしやすくなります。優先順で追加していくことをおすすめします。

LoRAはいくつ組み合わせればよいですか?

公式ガイドでは、実用上は2〜3個で十分なことが多く、4個使うならキャラクター、補正、画風、ライティングのように補助の役割を添える感じで追加していくとよいでしょう。追加する前に「このLoRAは何を補うのか」を言葉にできることが大切です。なお、PixAIでは追加できるLoRA数は3~15になっています。数は会員プランごとに異なります。

LoRAの重さはどの数値から試せばよいですか?

まずLoRAの配布ページにある推奨設定を確認します。そのうえで、ほかの生成条件を固定し、重さだけを段階的に変更してください。

LoRAを入れても変化がないのはなぜですか?

モデルとの相性、トリガーワード、重さ、プロンプトとの競合などが考えられます。

重さを上げる前に、LoRAの説明ページを確認し、対応するモデルや必要なトリガーワードが指定されているか調べてください。

まとめ|LoRAの組み合わせは1変数ずつ検証する

PixAIのLoRA組み合わせで出力が崩れたとき、さらにLoRAを追加して修正しようとすると、原因が見えにくくなります。

まずモデル単体の基準画像へ戻り、残したい特徴を担当するLoRAを一つ決めます。その後、理想との差を一つに絞り、補助LoRAを一つずつ追加してください。

最後に、モデル、プロンプト、シード値などを固定したまま、LoRAの重さだけを調整します。

LoRAはただ単に数を増やせばいいというものではありません。現在の画像に不足している要素を、必要な分だけ補っていく考え方が大切です。

また、原因を推測できる検証ログを残せば、「相性が悪い」で終わらず、次に試すべき操作を自分で決められるようになるのでおすすめします。

参考情報

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?