概要

生成AIが発展する一方で、権利者が望まない無断のAI学習が問題になってきています
この記事では、学習用画像にノイズが入っていた場合、画像生成AIにどのような影響があるのかを調査しました

※この記事群は2024/10末時点の調査に基づいています

目次

※この記事群は2024/10末時点の調査に基づいています

追加学習

ウォーターマーク（透過度20%）→ Glaze Default の順番でかけた場合

epoch 8

ウォーターマークは消えているのですが、色がやけに濃く学習されています
また、服などにノイズ状のラインが入りやすくなっています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

ウォーターマーク（透過度20%）→ Glaze Low の順番でかけた場合

epoch 8

色味は Glaze Default をかけた時よりもノイズなしに近付いています
ウォーターマークらしきラインはちょっと見えるかな…？くらいですね

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

ウォーターマーク（透過度20%）→ Nightshade Default の順番でかけた場合

epoch 8

ノイズなしに比べると睫毛や髪の形状の学習が進んでいません
ウォーターマークもやや残っています
（髪に分かりやすく斜めのラインが入っています）

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

ウォーターマーク（透過度20%）→ Nightshade Low の順番でかけた場合

epoch 8

概ね特徴は学習できていそうです
ウォーターマークもそれっぽいラインが若干入っています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

ウォーターマーク（透過度20%）→ Glaze Default の順番でかけて、ウォーターマーク除去指示を出した場合

ウォーターマーク（透過度20%）
学習時のウォーターマーク除去タグ付けはアリ
ネガティブプロンプトでウォーターマーク除去指示を追加
Glaze Default
Nightshade 未使用

epoch 8

ウォーターマークは綺麗に除去できていますが、その分学習の進み具合は遅いです

調査詳細 (学習元画像・epochごとの変遷)

学習データ

「ウォーターマーク（透過度20%）→ Glaze Default」のデータセットにタグ「watermark,english text」を学習対象に追加

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

ウォーターマーク（透過度20%）→ Nightshade Default の順番でかけて、ウォーターマーク除去指示を出した場合

ウォーターマーク（透過度20%）
学習時のウォーターマーク除去タグ付けはアリ
ネガティブプロンプトでウォーターマーク除去指示を追加
Glaze 未使用
Nightshade Default

epoch 8

髪がメデューサみたい…
ウォーターマークは除去されてますが、その代わり学習が進んでません

調査詳細 (学習元画像・epochごとの変遷)

学習データ

「ウォーターマーク（透過度20%）→ Nightshade Default」のデータセットにタグ「watermark,english text」を学習対象に追加

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

ウォーターマーク（透過度20%）→ Nightshade Low → Glaze Low をかけた場合

epoch 8

髪の色がやや濃いですが、形状は概ね学習できています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

ウォーターマーク（透過度20%）→ Glaze Low → Nightshade Low の順番でかけた場合

epoch 8

形状も色もノイズなしと大分似ています
ですが、ノイズなしに比べると若干年齢が高い感じがします
たまにウォーターマークらしきラインが出てきます

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Nightshade Low → Glaze Low → ウォーターマーク（透過度20%）の順番でかけた場合

epoch 8

ノイズなしに比べると若干年齢が高い感じがします
ウォーターマークはラインとしてではなく、過学習状態になったときに若干髪にもやがかかったように描かれています

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

Glaze Low → Nightshade Low → ウォーターマーク（透過度20%）の順番でかけた場合

epoch 8

これまでとは逆に、髪の茶色みが増した（色褪せた）感じで学習されていそうです
ウォーターマークは綺麗に消えており、過学習状態になってもほとんど出てきませんでした

調査詳細 (学習元画像・epochごとの変遷)

学習データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

検証結論

ウォーターマークとGlaze・Nightshadeを組み合わせると、学習の進み具合は遅くなるが、代わりにウォーターマークは除去されて学習されやすくなってしまう

次章

画像生成AIにとって一番嫌なノイズを探す -調査編(4)-