概要

生成AIが発展する一方で、権利者が望まない無断のAI学習が問題になってきています
この記事では、学習用画像にノイズが入っていた場合、画像生成AIにどのような影響があるのかを調査しました

※この記事群は2024/10末時点の調査に基づいています

目次

※この記事群は2024/10末時点の調査に基づいています

追加学習

Glaze High をかけた画像を学習した場合

epoch 8

髪や瞳の色の学習は微妙ですが、未学習時に比べると明らかに特徴が出ています
ただし、ノイズがかなり乗ってます

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

遠目にも分かるほどがっつりノイズが乗っています

epoch 2

epoch 4

epoch 6

結構学習されちゃってる気がします

epoch 10

過学習になってくると明らかにノイズが乗ってきます

epoch 12

Glaze Default をかけた画像を学習した場合

epoch 8

ノイズ未適用時に大分近いところまで学習できています。色はちょっと違うかな
ノイズは正直あまり感じられないです。

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

うっすらノイズが見えます

epoch 2

epoch 4

この時点で特徴が既に出ています

epoch 6

epoch 10

色味もHighに比べると学習できていそうです

epoch 12

ノイズが少し出てきてるような気もします

Glaze Low をかけた画像を学習した場合

epoch 8

ノイズ未適用時と比較しても、形状も色もほぼ遜色なく学習できています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

過学習状態になってもノイズはほとんど出てきませんでした

Glaze Hight をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

Glaze High だけのデータセットに比べると明らかに学習が進んでいます。
ですが、流石にノイズなしだけに比べると学習が足りていませんね。

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Glaze High の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

背景にノイズが出てくる場合が出てきました

Glaze Default をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

色も形状もだいぶ学習できています。
特にハイライトの色がやや黄色みがかっているのが、High半分の時と比べて学習が進んでいる点です。
ただ、ノイズなしだけと比べるとまだ少し学習速度が遅いですね

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Glaze Default の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Glaze Low をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

ノイズなしだけのデータセットとほぼ遜色なく学習できています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Glaze Low の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Nightshade High をかけた画像を学習した場合

epoch 8

ノイズなしに比べると明らかに顔が違っています
髪の色味も違ってますね
学習の方向性が間違っている感じです

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

遠目にも分かるほどがっつりノイズが乗っています

epoch 2

epoch 4

epoch 6

epoch 10

学習が迷子になっているような印象です

epoch 12

Nightshade Default をかけた画像を学習した場合

epoch 8

髪の形状がうまく特徴を捉えられていないです
色の学習がGlazeより一層遅くなっています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

ややノイズが乗っています

epoch 2

epoch 4

epoch 6

ハイライトなどの特徴の学習が若干遅いように思います

epoch 10

epoch 12

Nightshade Low をかけた画像を学習した場合

epoch 8

ノイズなしに比べると、若干髪の形状がおかしい感じがしますが、概ね学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

過学習になるのが早い気がするのですが、気のせいかなぁ…

Nightshade Hight をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

若干色味がノイズなしと異なり、また髪の形状も少し違っています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Nightshade High の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Nightshade Default をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

色味の学習が若干遅い…かな？程度です

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Nightshade Default の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Nightshade Low をかけた画像とノイズなしの画像を半分ずつ混ぜて学習した場合

epoch 8

やはり色味の学習が少し遅い程度で、形状は問題なく学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

Nightshade Low の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Nightshade High → Glaze High の順番でノイズをかけた場合

epoch 8

色味が学習できておらず、形状も学習があまり出来ていません。
また髪に分かりやすくノイズが乗っています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

この時点でノイズが激しいです

epoch 10

epoch 12

Nightshade High → Glaze Default の順番でノイズをかけた場合

epoch 8

髪のノイズが乗っているのと、髪の形状が明らかにノイズなしと比べて違っています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

やはりノイズが強く乗っています

epoch 10

epoch 12

Nightshade High → Glaze Low の順番でノイズをかけた場合

epoch 8

ノイズは少し抑えられましたが、顔が安定していません

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

過学習状態になると、ようやく顔が安定してきます

epoch 12

Nightshade Default → Glaze High の順番でノイズをかけた場合

epoch 8

髪の色の学習がやや遅いのと、ノイズが強く乗っています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Nightshade Default → Glaze Default の順番でノイズをかけた場合

epoch 8

髪の色が大分濃いですね…これはこれで学習できていないのかもしれません
ノイズはあまり乗らなくなりました

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Nightshade Default → Glaze Low の順番でノイズをかけた場合

epoch 8

色味は大分安定して学習できていそうです
睫毛の学習が若干遅い…かな？

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Nightshade Low → Glaze High の順番でノイズをかけた場合

epoch 8

顔は安定して学習出来ていそうですが、ノイズが激しいです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Nightshade Low → Glaze Default の順番でノイズをかけた場合

epoch 8

大分安定して学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Nightshade Low → Glaze Low の順番でノイズをかけた場合

epoch 8

髪の色やハイライトなど、色味も形状も問題なく学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Glaze High → Nightshade High の順番でノイズをかけた場合

epoch 8

色がほとんど学習出来ていないのと、ノイズが激しく乗っています
睫毛の形状も安定してないかな

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Glaze High → Nightshade Default の順番でノイズをかけた場合

epoch 8

髪にノイズが乗りやすくなっています。
睫毛はHighに比べると学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Glaze High → Nightshade Low の順番でノイズをかけた場合

epoch 8

髪のノイズが強く、色味もあまり学習できていません
ただ髪や睫毛の形状はある程度学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

ノイズは強めですが、色味は大分学習できていそうです

epoch 4

epoch 6

epoch 10

epoch 12

Glaze Default → Nightshade High の順番でノイズをかけた場合

epoch 8

Glaze High に比べると明らかに髪の色などが学習できています
ただ、睫毛の特徴の学習が少し遅そうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Glaze Default → Nightshade Default の順番でノイズをかけた場合

epoch 8

髪や瞳の色に妙に茶色が強く出るようになりました
形状は安定して学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Glaze Default → Nightshade Low の順番でノイズをかけた場合

epoch 8

ノイズなしに比べても形状はそれほど遜色なく学習できていそうです
ただ、髪の色味に茶色が強く出る傾向は残っています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Glaze Low → Nightshade High の順番でノイズをかけた場合

epoch 8

意外と綺麗に学習できました
色の学習がやっぱり苦手になるみたいですね

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Glaze Low → Nightshade Default の順番でノイズをかけた場合

epoch 8

髪や瞳の色は少し茶色みが強めですが、形状は安定して学習できていそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Glaze Low → Nightshade Low の順番でノイズをかけた場合

epoch 8

意外と髪の形状の学習が遅いというか安定してないかも…？
色味はノイズになしと比べても大分安定していそうです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

検証結論

Glaze、Nightshade ともに学習に影響は少なからず出る
両方かけると更に効果的に影響が出る
ただし、Lowだけではほとんど効果が出ない

次章

画像生成AIにとって一番嫌なノイズを探す -調査編(2)-