Go to Qiita Advent Calendar 2024 Top
LoginSignup
4
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@miu200521358(miu)

画像生成AIにとって一番嫌なノイズを探す -調査編(1)-

Last updated at Posted at 2024-11-12

概要

生成AIが発展する一方で、権利者が望まない無断のAI学習が問題になってきています
この記事では、学習用画像にノイズが入っていた場合、画像生成AIにどのような影響があるのかを調査しました

※この記事群は2024/10末時点の調査に基づいています

目次

  1. 画像生成AIにとって一番嫌なノイズを探す -結論編-
  2. 画像生成AIにとって一番嫌なノイズを探す -準備編-
  3. 画像生成AIにとって一番嫌なノイズを探す -調査編(1)-
  4. 画像生成AIにとって一番嫌なノイズを探す -調査編(2)-
  5. 画像生成AIにとって一番嫌なノイズを探す -調査編(3)-
  6. 画像生成AIにとって一番嫌なノイズを探す -調査編(4)-
  7. 画像生成AIにとって一番嫌なノイズを探す -実装編-

※この記事群は2024/10末時点の調査に基づいています

追加学習

Glaze High をかけた画像を学習した場合

epoch 8

case03_03_graze_high-000008_01_2.png

髪や瞳の色の学習は微妙ですが、未学習時に比べると明らかに特徴が出ています
ただし、ノイズがかなり乗ってます

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

image.png

遠目にも分かるほどがっつりノイズが乗っています

epoch 2

case03_03_graze_high-000002_01_2.png

epoch 4

case03_03_graze_high-000004_03_2.png

epoch 6

case03_03_graze_high-000006_01_2.png

結構学習されちゃってる気がします

epoch 10

case03_03_graze_high-000010_01_2.png

過学習になってくると明らかにノイズが乗ってきます

epoch 12

case03_03_graze_high-000012_02_2.png

Glaze Default をかけた画像を学習した場合

epoch 8

case03_03_graze_default-000008_03_2.png

ノイズ未適用時に大分近いところまで学習できています。色はちょっと違うかな
ノイズは正直あまり感じられないです。

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

image.png

うっすらノイズが見えます

epoch 2

case03_03_graze_default-000002_02_2.png

epoch 4

case03_03_graze_default-000004_03_2.png

この時点で特徴が既に出ています

epoch 6

case03_03_graze_default-000006_03_2.png

epoch 10

case03_03_graze_default-000010_03_2.png

色味もHighに比べると学習できていそうです

epoch 12

case03_03_graze_default-000012_02_2.png

ノイズが少し出てきてるような気もします

Glaze Low をかけた画像を学習した場合

epoch 8

case03_03_graze_low-000008_03_2.png

ノイズ未適用時と比較しても、形状も色もほぼ遜色なく学習できています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

image.png

epoch 2

case03_03_graze_low-000002_03_2.png

epoch 4

case03_03_graze_low-000004_02_2.png

epoch 6

case03_03_graze_low-000006_03_2.png

epoch 10

case03_03_graze_low-000010_02_2.png

epoch 12

case03_03_graze_low-000012_02_2.png

過学習状態になってもノイズはほとんど出てきませんでした

Glaze Hight をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

case03_03_graze_high_half-000008_02_2.png

Glaze High だけのデータセットに比べると明らかに学習が進んでいます。
ですが、流石にノイズなしだけに比べると学習が足りていませんね。

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Glaze High の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

case03_03_graze_high_half-000002_02_2.png

epoch 4

case03_03_graze_high_half-000004_01_2.png

epoch 6

case03_03_graze_high_half-000006_03_2.png

epoch 10

case03_03_graze_high_half-000010_03_2.png

epoch 12

case03_03_graze_high_half-000012_03_2.png

背景にノイズが出てくる場合が出てきました

Glaze Default をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

case03_03_graze_default_half-000008_02_2.png

色も形状もだいぶ学習できています。
特にハイライトの色がやや黄色みがかっているのが、High半分の時と比べて学習が進んでいる点です。
ただ、ノイズなしだけと比べるとまだ少し学習速度が遅いですね

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Glaze Default の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

case03_03_graze_default_half-000002_03_2.png

epoch 4

case03_03_graze_default_half-000004_03_2.png

epoch 6

case03_03_graze_default_half-000006_03_2.png

epoch 10

case03_03_graze_default_half-000010_03_2.png

epoch 12

case03_03_graze_default_half-000012_02_2.png

Glaze Low をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

case03_03_graze_low_half-000008_03_2.png

ノイズなしだけのデータセットとほぼ遜色なく学習できています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Glaze Low の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

case03_03_graze_low_half-000002_03_2.png

epoch 4

case03_03_graze_low_half-000004_02_2.png

epoch 6

case03_03_graze_low_half-000006_02_2.png

epoch 10

case03_03_graze_low_half-000010_03_2.png

epoch 12

case03_03_graze_low_half-000012_03_2.png

Nightshade High をかけた画像を学習した場合

epoch 8

case03_08_nightshade_high-000008_02_2.png

ノイズなしに比べると明らかに顔が違っています
髪の色味も違ってますね
学習の方向性が間違っている感じです

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

image.png

遠目にも分かるほどがっつりノイズが乗っています

epoch 2

case03_08_nightshade_high-000002_02_2.png

epoch 4

case03_08_nightshade_high-000004_02_2.png

epoch 6

case03_08_nightshade_high-000006_03_2.png

epoch 10

case03_08_nightshade_high-000010_02_2.png

学習が迷子になっているような印象です

epoch 12

case03_08_nightshade_high-000012_02_2.png

Nightshade Default をかけた画像を学習した場合

epoch 8

case03_08_nightshade_default-000008_02_2.png

髪の形状がうまく特徴を捉えられていないです
色の学習がGlazeより一層遅くなっています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

image.png

ややノイズが乗っています

epoch 2

case03_08_nightshade_default-000002_03_2.png

epoch 4

case03_08_nightshade_default-000004_03_2.png

epoch 6

case03_08_nightshade_default-000006_03_2.png

ハイライトなどの特徴の学習が若干遅いように思います

epoch 10

case03_08_nightshade_default-000010_03_2.png

epoch 12

case03_08_nightshade_default-000012_03_2.png

Nightshade Low をかけた画像を学習した場合

epoch 8

case03_08_nightshade_low-000008_03_2.png

ノイズなしに比べると、若干髪の形状がおかしい感じがしますが、概ね学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

image.png

epoch 2

case03_08_nightshade_low-000002_02_2.png

epoch 4

case03_08_nightshade_low-000004_03_2.png

epoch 6

case03_08_nightshade_low-000006_03_2.png

epoch 10

case03_08_nightshade_low-000010_03_2.png

epoch 12

case03_08_nightshade_low-000012_03_2.png

過学習になるのが早い気がするのですが、気のせいかなぁ…

Nightshade Hight をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

case03_08_nightshade_high_half-000008_03_2.png

若干色味がノイズなしと異なり、また髪の形状も少し違っています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Nightshade High の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

case03_08_nightshade_high_half-000002_02_2.png

epoch 4

case03_08_nightshade_high_half-000004_02_2.png

epoch 6

case03_08_nightshade_high_half-000006_02_2.png

epoch 10

case03_08_nightshade_high_half-000010_02_2.png

epoch 12

case03_08_nightshade_high_half-000012_03_2.png

Nightshade Default をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

case03_08_nightshade_default_half-000008_03_2.png

色味の学習が若干遅い…かな？程度です

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Nightshade Default の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

case03_08_nightshade_default_half-000002_03_2.png

epoch 4

case03_08_nightshade_default_half-000004_03_2.png

epoch 6

case03_08_nightshade_default_half-000006_03_2.png

epoch 10

case03_08_nightshade_default_half-000010_02_2.png

epoch 12

case03_08_nightshade_default_half-000012_03_2.png

Nightshade Low をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

case03_08_nightshade_low_half-000008_03_2.png

やはり色味の学習が少し遅い程度で、形状は問題なく学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Nightshade Low の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

case03_08_nightshade_low_half-000002_02_2.png

epoch 4

case03_08_nightshade_low_half-000004_02_2.png

epoch 6

case03_08_nightshade_low_half-000006_02_2.png

epoch 10

case03_08_nightshade_low_half-000010_03_2.png

epoch 12

case03_08_nightshade_low_half-000012_02_2.png

Nightshade High → Glaze High の順番でノイズをかけた場合

epoch 8

case03_10_nightshade_high_glaze_high-000008_02_2.png

色味が学習できておらず、形状も学習があまり出来ていません。
また髪に分かりやすくノイズが乗っています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_10_nightshade_high_glaze_high-000002_03_2.png

epoch 4

case03_10_nightshade_high_glaze_high-000004_03_2.png

epoch 6

case03_10_nightshade_high_glaze_high-000006_01_2.png

この時点でノイズが激しいです

epoch 10

case03_10_nightshade_high_glaze_high-000010_02_2.png

epoch 12

case03_10_nightshade_high_glaze_high-000012_01_2.png

Nightshade High → Glaze Default の順番でノイズをかけた場合

epoch 8

case03_10_nightshade_high_glaze_default-000008_03_2.png

髪のノイズが乗っているのと、髪の形状が明らかにノイズなしと比べて違っています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_10_nightshade_high_glaze_default-000002_02_2.png

epoch 4

case03_10_nightshade_high_glaze_default-000004_03_2.png

epoch 6

case03_10_nightshade_high_glaze_default-000006_02_2.png

やはりノイズが強く乗っています

epoch 10

case03_10_nightshade_default_glaze_low-000010_02_2.png

epoch 12

case03_10_nightshade_high_glaze_default-000012_03_2.png

Nightshade High → Glaze Low の順番でノイズをかけた場合

epoch 8

case03_10_nightshade_high_glaze_low-000008_03_2.png

ノイズは少し抑えられましたが、顔が安定していません

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_10_nightshade_high_glaze_low-000002_02_2.png

epoch 4

case03_10_nightshade_high_glaze_low-000004_03_2.png

epoch 6

case03_10_nightshade_high_glaze_low-000006_03_2.png

epoch 10

case03_10_nightshade_high_glaze_low-000010_03_2.png

過学習状態になると、ようやく顔が安定してきます

epoch 12

case03_10_nightshade_high_glaze_low-000012_03_2.png

Nightshade Default → Glaze High の順番でノイズをかけた場合

epoch 8

case03_10_nightshade_default_glaze_high-000008_01_2.png

髪の色の学習がやや遅いのと、ノイズが強く乗っています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_10_nightshade_default_glaze_high-000002_02_2.png

epoch 4

case03_10_nightshade_default_glaze_high-000004_03_2.png

epoch 6

case03_10_nightshade_default_glaze_high-000006_02_2.png

epoch 10

case03_10_nightshade_default_glaze_high-000010_01_2.png

epoch 12

case03_10_nightshade_default_glaze_high-000012_03_2.png

Nightshade Default → Glaze Default の順番でノイズをかけた場合

epoch 8

case03_10_nightshade_default_glaze_default-000008_03_2.png

髪の色が大分濃いですね…これはこれで学習できていないのかもしれません
ノイズはあまり乗らなくなりました

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_10_nightshade_default_glaze_default-000002_03_2.png

epoch 4

case03_10_nightshade_default_glaze_default-000004_03_2.png

epoch 6

case03_10_nightshade_default_glaze_default-000006_03_2.png

epoch 10

case03_10_nightshade_default_glaze_default-000010_03_2.png

epoch 12

case03_10_nightshade_default_glaze_default-000012_02_2.png

Nightshade Default → Glaze Low の順番でノイズをかけた場合

epoch 8

case03_10_nightshade_default_glaze_low-000008_02_2.png

色味は大分安定して学習できていそうです
睫毛の学習が若干遅い…かな？

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_10_nightshade_default_glaze_low-000002_03_2.png

epoch 4

case03_10_nightshade_default_glaze_low-000004_02_2.png

epoch 6

case03_10_nightshade_default_glaze_low-000006_02_2.png

epoch 10

case03_10_nightshade_default_glaze_low-000010_02_2.png

epoch 12

case03_10_nightshade_default_glaze_low-000012_02_2.png

Nightshade Low → Glaze High の順番でノイズをかけた場合

epoch 8

case03_10_nightshade_low_glaze_high-000008_03_2.png

顔は安定して学習出来ていそうですが、ノイズが激しいです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_10_nightshade_low_glaze_high-000002_02_2.png

epoch 4

case03_10_nightshade_low_glaze_high-000004_03_2.png

epoch 6

case03_10_nightshade_low_glaze_high-000006_03_2.png

epoch 10

case03_10_nightshade_low_glaze_high-000010_01_2.png

epoch 12

case03_10_nightshade_low_glaze_high-000012_01_2.png

Nightshade Low → Glaze Default の順番でノイズをかけた場合

epoch 8

case03_10_nightshade_low_glaze_default-000008_03_2.png

大分安定して学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_10_nightshade_low_glaze_default-000002_03_2.png

epoch 4

case03_10_nightshade_low_glaze_default-000004_03_2.png

epoch 6

case03_10_nightshade_low_glaze_default-000006_03_2.png

epoch 10

case03_10_nightshade_low_glaze_default-000010_02_2.png

epoch 12

case03_10_nightshade_low_glaze_default-000012_01_2.png

Nightshade Low → Glaze Low の順番でノイズをかけた場合

epoch 8

case03_10_nightshade_low_glaze_low-000008_03_2.png

髪の色やハイライトなど、色味も形状も問題なく学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_10_nightshade_low_glaze_low-000002_03_2.png

epoch 4

case03_10_nightshade_low_glaze_low-000004_03_2.png

epoch 6

case03_10_nightshade_low_glaze_low-000006_03_2.png

epoch 10

case03_10_nightshade_low_glaze_low-000010_03_2.png

epoch 12

case03_10_nightshade_low_glaze_low-000012_01_2.png

Glaze High → Nightshade High の順番でノイズをかけた場合

epoch 8

case03_11_glaze_high_nightshade_high-000008_03_2.png

色がほとんど学習出来ていないのと、ノイズが激しく乗っています
睫毛の形状も安定してないかな

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_11_glaze_high_nightshade_high-000002_02_2.png

epoch 4

case03_11_glaze_high_nightshade_high-000004_03_2.png

epoch 6

case03_11_glaze_high_nightshade_high-000006_03_2.png

epoch 10

case03_11_glaze_high_nightshade_high-000010_03_2.png

epoch 12

case03_11_glaze_high_nightshade_high-000012_03_2.png

Glaze High → Nightshade Default の順番でノイズをかけた場合

epoch 8

case03_11_glaze_high_nightshade_default-000008_03_2.png

髪にノイズが乗りやすくなっています。
睫毛はHighに比べると学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_11_glaze_high_nightshade_default-000002_01_2.png

epoch 4

case03_11_glaze_high_nightshade_default-000004_02_2.png

epoch 6

case03_11_glaze_high_nightshade_default-000006_02_2.png

epoch 10

case03_11_glaze_high_nightshade_default-000010_01_2.png

epoch 12

case03_11_glaze_high_nightshade_default-000012_03_2.png

Glaze High → Nightshade Low の順番でノイズをかけた場合

epoch 8

case03_11_glaze_high_nightshade_low-000008_02_2.png

髪のノイズが強く、色味もあまり学習できていません
ただ髪や睫毛の形状はある程度学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_11_glaze_high_nightshade_low-000002_03_2.png

ノイズは強めですが、色味は大分学習できていそうです

epoch 4

case03_11_glaze_high_nightshade_low-000004_01_2.png

epoch 6

case03_11_glaze_high_nightshade_low-000006_01_2.png

epoch 10

case03_11_glaze_high_nightshade_low-000010_02_2.png

epoch 12

case03_11_glaze_high_nightshade_low-000012_03_2.png

Glaze Default → Nightshade High の順番でノイズをかけた場合

epoch 8

case03_11_glaze_default_nightshade_high-000008_02_2.png

Glaze High に比べると明らかに髪の色などが学習できています
ただ、睫毛の特徴の学習が少し遅そうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_11_glaze_default_nightshade_high-000002_03_2.png

epoch 4

case03_11_glaze_default_nightshade_high-000004_03_2.png

epoch 6

case03_11_glaze_default_nightshade_high-000006_03_2.png

epoch 10

case03_11_glaze_default_nightshade_high-000010_02_2.png

epoch 12

case03_11_glaze_default_nightshade_high-000012_01_2.png

Glaze Default → Nightshade Default の順番でノイズをかけた場合

epoch 8

case03_11_glaze_default_nightshade_default-000008_02_2.png

髪や瞳の色に妙に茶色が強く出るようになりました
形状は安定して学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_11_glaze_default_nightshade_default-000002_02_2.png

epoch 4

case03_11_glaze_default_nightshade_default-000004_03_2.png

epoch 6

case03_11_glaze_default_nightshade_default-000006_02_2.png

epoch 10

case03_11_glaze_default_nightshade_default-000010_03_2.png

epoch 12

case03_11_glaze_default_nightshade_default-000012_03_2.png

Glaze Default → Nightshade Low の順番でノイズをかけた場合

epoch 8

case03_11_glaze_default_nightshade_low-000008_02_2.png

ノイズなしに比べても形状はそれほど遜色なく学習できていそうです
ただ、髪の色味に茶色が強く出る傾向は残っています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_11_glaze_default_nightshade_low-000002_03_2.png

epoch 4

case03_11_glaze_default_nightshade_low-000004_02_2.png

epoch 6

case03_11_glaze_default_nightshade_low-000006_02_2.png

epoch 10

case03_11_glaze_default_nightshade_low-000010_03_2.png

epoch 12

case03_11_glaze_default_nightshade_low-000012_02_2.png

Glaze Low → Nightshade High の順番でノイズをかけた場合

epoch 8

case03_11_glaze_low_nightshade_high-000008_1_normal_02.png

意外と綺麗に学習できました
色の学習がやっぱり苦手になるみたいですね

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_11_glaze_low_nightshade_high-000002_1_normal_02.png

epoch 4

case03_11_glaze_low_nightshade_high-000004_1_normal_01.png

epoch 6

case03_11_glaze_low_nightshade_high-000006_1_normal_02.png

epoch 10

case03_11_glaze_low_nightshade_high-000010_1_normal_03.png

epoch 12

case03_11_glaze_low_nightshade_high-000012_1_normal_03.png

Glaze Low → Nightshade Default の順番でノイズをかけた場合

epoch 8

case03_11_glaze_low_nightshade_default-000008_02_2.png

髪や瞳の色は少し茶色みが強めですが、形状は安定して学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_11_glaze_low_nightshade_default-000002_01_2.png

epoch 4

case03_11_glaze_low_nightshade_default-000004_03_2.png

epoch 6

case03_11_glaze_low_nightshade_default-000006_03_2.png

epoch 10

case03_11_glaze_low_nightshade_default-000010_03_2.png

epoch 12

case03_11_glaze_low_nightshade_default-000012_03_2.png

Glaze Low → Nightshade Low の順番でノイズをかけた場合

epoch 8

case03_11_glaze_low_nightshade_low-000008_03_2.png

意外と髪の形状の学習が遅いというか安定してないかも…？
色味はノイズになしと比べても大分安定していそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

24-10-26-07-07-58-17.png

epoch 2

case03_11_glaze_low_nightshade_low-000002_03_2.png

epoch 4

case03_11_glaze_low_nightshade_low-000004_02_2.png

epoch 6

case03_11_glaze_low_nightshade_low-000006_02_2.png

epoch 10

case03_11_glaze_low_nightshade_low-000010_03_2.png

epoch 12

case03_11_glaze_low_nightshade_low-000012_02_2.png

検証結論

Glaze、Nightshade ともに学習に影響は少なからず出る
両方かけると更に効果的に影響が出る
ただし、Lowだけではほとんど効果が出ない

次章

  1. 画像生成AIにとって一番嫌なノイズを探す -調査編(2)-
4
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
4
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?