Go to Qiita Advent Calendar 2024 Top
LoginSignup
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@miu200521358(miu)

画像生成AIにとって一番嫌なノイズを探す -調査編(3)-

Last updated at Posted at 2024-11-12

概要

生成AIが発展する一方で、権利者が望まない無断のAI学習が問題になってきています
この記事では、学習用画像にノイズが入っていた場合、画像生成AIにどのような影響があるのかを調査しました

※この記事群は2024/10末時点の調査に基づいています

目次

  1. 画像生成AIにとって一番嫌なノイズを探す -結論編-
  2. 画像生成AIにとって一番嫌なノイズを探す -準備編-
  3. 画像生成AIにとって一番嫌なノイズを探す -調査編(1)-
  4. 画像生成AIにとって一番嫌なノイズを探す -調査編(2)-
  5. 画像生成AIにとって一番嫌なノイズを探す -調査編(3)-
  6. 画像生成AIにとって一番嫌なノイズを探す -調査編(4)-
  7. 画像生成AIにとって一番嫌なノイズを探す -実装編-

※この記事群は2024/10末時点の調査に基づいています

追加学習

ウォーターマーク（透過度20%）→ Glaze Default の順番でかけた場合

epoch 8

case03_12_watermark_20_glaze_default-000008_1_normal_02.png

ウォーターマークは消えているのですが、色がやけに濃く学習されています
また、服などにノイズ状のラインが入りやすくなっています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

case03_12_watermark_20_glaze_default_original.png

epoch 2

case03_12_watermark_20_glaze_default-000002_1_normal_03.png

epoch 4

case03_12_watermark_20_glaze_default-000004_1_normal_02.png

epoch 6

case03_12_watermark_20_glaze_default-000006_1_normal_03.png

epoch 10

case03_12_watermark_20_glaze_default-000010_1_normal_02.png

epoch 12

case03_12_watermark_20_glaze_default-000012_1_normal_03.png

ウォーターマーク（透過度20%）→ Glaze Low の順番でかけた場合

epoch 8

case03_12_watermark_20_glaze_low-000008_1_normal_03.png

色味は Glaze Default をかけた時よりもノイズなしに近付いています
ウォーターマークらしきラインはちょっと見えるかな…？くらいですね

調査詳細 (学習元画像・epochごとの変遷)

学習データ

case03_12_watermark_20_glaze_low-original.png

epoch 2

case03_12_watermark_20_glaze_low-000002_1_normal_01.png

epoch 4

case03_12_watermark_20_glaze_low-000004_1_normal_03.png

epoch 6

case03_12_watermark_20_glaze_low-000006_1_normal_02.png

epoch 10

case03_12_watermark_20_glaze_low-000010_1_normal_02.png

epoch 12

case03_12_watermark_20_glaze_low-000012_1_normal_03.png

ウォーターマーク（透過度20%）→ Nightshade Default の順番でかけた場合

epoch 8

case03_12_watermark_20_nightshade_default-000008_1_normal_02.png

ノイズなしに比べると睫毛や髪の形状の学習が進んでいません
ウォーターマークもやや残っています
（髪に分かりやすく斜めのラインが入っています）

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_12_watermark_20_nightshade_default-000002_1_normal_01.png

epoch 4

case03_12_watermark_20_nightshade_default-000004_1_normal_03.png

epoch 6

case03_12_watermark_20_nightshade_default-000006_1_normal_03.png

epoch 10

case03_12_watermark_20_nightshade_default-000010_1_normal_02.png

epoch 12

case03_12_watermark_20_nightshade_default-000012_1_normal_03.png

ウォーターマーク（透過度20%）→ Nightshade Low の順番でかけた場合

epoch 8

case03_12_watermark_20_nightshade_low-000008_1_normal_03.png

概ね特徴は学習できていそうです
ウォーターマークもそれっぽいラインが若干入っています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_12_watermark_20_nightshade_low-000002_1_normal_03.png

epoch 4

case03_12_watermark_20_nightshade_low-000004_1_normal_03.png

epoch 6

case03_12_watermark_20_nightshade_low-000006_1_normal_02.png

epoch 10

case03_12_watermark_20_nightshade_low-000010_1_normal_02.png

epoch 12

case03_12_watermark_20_nightshade_low-000012_1_normal_03.png

ウォーターマーク（透過度20%）→ Glaze Default の順番でかけて、ウォーターマーク除去指示を出した場合

  • ウォーターマーク（透過度20%）
  • 学習時のウォーターマーク除去タグ付けはアリ
  • ネガティブプロンプトでウォーターマーク除去指示を追加
  • Glaze Default
  • Nightshade 未使用

epoch 8

case03_42_watermark_20_negative_glaze_default-000008_2_negative_03.png

ウォーターマークは綺麗に除去できていますが、その分学習の進み具合は遅いです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

「ウォーターマーク（透過度20%）→ Glaze Default」のデータセットにタグ「watermark,english text」を学習対象に追加

epoch 2

case03_42_watermark_20_negative_glaze_default-000002_2_negative_03.png

epoch 4

case03_42_watermark_20_negative_glaze_default-000004_2_negative_02.png

epoch 6

case03_42_watermark_20_negative_glaze_default-000006_2_negative_02.png

epoch 10

case03_42_watermark_20_negative_glaze_default-000010_2_negative_02.png

epoch 12

case03_42_watermark_20_negative_glaze_default-000012_2_negative_02.png

ウォーターマーク（透過度20%）→ Nightshade Default の順番でかけて、ウォーターマーク除去指示を出した場合

  • ウォーターマーク（透過度20%）
  • 学習時のウォーターマーク除去タグ付けはアリ
  • ネガティブプロンプトでウォーターマーク除去指示を追加
  • Glaze 未使用
  • Nightshade Default

epoch 8

case03_42_watermark_20_negative_nightshade_default-000008_2_negative_02.png

髪がメデューサみたい…
ウォーターマークは除去されてますが、その代わり学習が進んでません

調査詳細 (学習元画像・epochごとの変遷)

学習データ

「ウォーターマーク（透過度20%）→ Nightshade Default」のデータセットにタグ「watermark,english text」を学習対象に追加

epoch 2

case03_42_watermark_20_negative_nightshade_default-000002_2_negative_03.png

epoch 4

case03_42_watermark_20_negative_nightshade_default-000004_2_negative_02.png

epoch 6

case03_42_watermark_20_negative_nightshade_default-000006_2_negative_02.png

epoch 10

case03_42_watermark_20_negative_nightshade_default-000010_2_negative_02.png

epoch 12

case03_42_watermark_20_negative_nightshade_default-000012_2_negative_03.png

ウォーターマーク（透過度20%）→ Nightshade Low → Glaze Low をかけた場合

epoch 8

case03_20_watermark_20_nightshade_low_glaze_low-000008_1_normal_03.png

髪の色がやや濃いですが、形状は概ね学習できています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_20_watermark_20_nightshade_low_glaze_low-000002_1_normal_01.png

epoch 4

case03_20_watermark_20_nightshade_low_glaze_low-000004_1_normal_03.png

epoch 6

case03_20_watermark_20_nightshade_low_glaze_low-000006_1_normal_02.png

epoch 10

case03_20_watermark_20_nightshade_low_glaze_low-000010_1_normal_03.png

epoch 12

case03_20_watermark_20_nightshade_low_glaze_low-000012_1_normal_03.png

ウォーターマーク（透過度20%）→ Glaze Low → Nightshade Low の順番でかけた場合

epoch 8

case03_21_watermark_20_glaze_low_nightshade_low-000008_1_normal_02.png

形状も色もノイズなしと大分似ています
ですが、ノイズなしに比べると若干年齢が高い感じがします
たまにウォーターマークらしきラインが出てきます

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_21_watermark_20_glaze_low_nightshade_low-000002_1_normal_03.png

epoch 4

case03_21_watermark_20_glaze_low_nightshade_low-000004_1_normal_03.png

epoch 6

case03_21_watermark_20_glaze_low_nightshade_low-000006_1_normal_01.png

epoch 10

case03_21_watermark_20_glaze_low_nightshade_low-000010_1_normal_03.png

epoch 12

case03_21_watermark_20_glaze_low_nightshade_low-000012_1_normal_02.png

Nightshade Low → Glaze Low → ウォーターマーク（透過度20%）の順番でかけた場合

epoch 8

case03_22_nightshade_low_glaze_low_watermark_20-000008_1_normal_03.png

ノイズなしに比べると若干年齢が高い感じがします
ウォーターマークはラインとしてではなく、過学習状態になったときに若干髪にもやがかかったように描かれています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_22_nightshade_low_glaze_low_watermark_20-000002_1_normal_02.png

epoch 4

case03_22_nightshade_low_glaze_low_watermark_20-000004_1_normal_03.png

epoch 6

case03_22_nightshade_low_glaze_low_watermark_20-000006_1_normal_02.png

epoch 10

case03_22_nightshade_low_glaze_low_watermark_20-000010_1_normal_03.png

epoch 12

case03_22_nightshade_low_glaze_low_watermark_20-000012_1_normal_02.png

Glaze Low → Nightshade Low → ウォーターマーク（透過度20%）の順番でかけた場合

epoch 8

case03_23_glaze_low_nightshade_low_watermark_20-000008_1_normal_02.png

これまでとは逆に、髪の茶色みが増した（色褪せた）感じで学習されていそうです
ウォーターマークは綺麗に消えており、過学習状態になってもほとんど出てきませんでした

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_23_glaze_low_nightshade_low_watermark_20-000002_1_normal_02.png

epoch 4

case03_23_glaze_low_nightshade_low_watermark_20-000004_1_normal_03.png

epoch 6

case03_23_glaze_low_nightshade_low_watermark_20-000006_1_normal_03.png

epoch 10

case03_23_glaze_low_nightshade_low_watermark_20-000010_1_normal_02.png

epoch 12

case03_23_glaze_low_nightshade_low_watermark_20-000012_1_normal_02.png

検証結論

ウォーターマークとGlaze・Nightshadeを組み合わせると、学習の進み具合は遅くなるが、代わりにウォーターマークは除去されて学習されやすくなってしまう

次章

  1. 画像生成AIにとって一番嫌なノイズを探す -調査編(4)-
1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?