概要

生成AIが発展する一方で、権利者が望まない無断のAI学習が問題になってきています
この記事では、学習用画像にノイズが入っていた場合、画像生成AIにどのような影響があるのかを調査しました

※この記事群は2024/10末時点の調査に基づいています

目次

※この記事群は2024/10末時点の調査に基づいています

追加学習

薄くて大きいロゴを人物にかかるように入れた場合（Glaze・Nightshade未使用）

epoch 12

過学習状態になるとロゴが再現されるようになりましたが、epoch 8 程度だと効果はありませんでした。

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

epoch 2

epoch 4

epoch 6

epoch 8

epoch 10

細くて濃いめのロゴを人物にかかるように入れた場合（Glaze・Nightshade未使用）

epoch 8

髪にかかるようにロゴを入れたので、髪に妙なドットが出るようになりました。
でも正直それくらいで、ハイライトと言われれば分からない程度です。

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

ライン状のロゴを人物の後ろに入れた場合（Glaze・Nightshade未使用）

epoch 10

過学習状態になるとライン状の柄が出てくるようになりましたが、epoch 8 程度では効果がありませんでした。

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

epoch 2

epoch 4

epoch 6

ラインが一回だけ出てきました

epoch 8

epoch 12

epoch 16 になると、ライン状の背景になりやすい傾向が出てきました

円状のロゴを人物にかかるように入れた場合（Glaze・Nightshade未使用）

epoch 8

ロゴっぽい絵柄が髪に出てくるようになりました

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

epoch 2

epoch 4

epoch 6

髪に赤丸が出てくるようになりました

epoch 10

epoch 12

顔のテクスチャにロゴを入れた場合

epoch 8

少しロゴが小さすぎましたが、明らかに学習されており、緑色の妙な柄が頬に描かれています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

3Dモデルならではですが、フェイスペイントの要領で顔のテクスチャにロゴを入れてみました。
このパターンだけ別撮りしているので、データセットが異なります（枚数は同じです）

epoch 2

epoch 4

epoch 6

頬に妙な柄が出てくるようになりました

epoch 10

安定して緑色の柄が出てくるようになりました

epoch 12

ウォーターマーク（透過度10%）を入れた場合（Glaze・Nightshade未使用）

epoch 8

うっすらではありますが髪にウォーターマークのラインのようなものが出てきました。

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

epoch 2

epoch 4

epoch 6

epoch 10

ウォーターマークのラインが徐々に見えやすくなってきました

epoch 12

ウォーターマーク（透過度20%）を入れた場合（Glaze・Nightshade未使用）

epoch 8

だいぶ分かりやすくウォーターマークが出ています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

epoch 2

epoch 4

epoch 6

ウォーターマークが出始めました

epoch 10

epoch 12

ウォーターマーク（透過度30%）を入れた場合（Glaze・Nightshade未使用）

epoch 8

非常に分かりやすくウォーターマークが学習されています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

epoch 2

epoch 4

この時点で既にウォーターマークが学習され始めています

epoch 6

人物より背景にかかりやすくなっているかも

epoch 10

epoch 12

ウォーターマーク（透過度10%）を入れた画像とノイズなしの画像を半分ずつ混ぜて学習した場合（Glaze・Nightshade未使用）

epoch 8

ウォーターマークは学習されにくくなっています

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

ウォーターマーク(10%) の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

ウォーターマーク（透過度20%）を入れた画像とノイズなしの画像を半分ずつ混ぜて学習した場合（Glaze・Nightshade未使用）

epoch 8

よくよく見るとうっすらラインが入ってる…かな？程度にしか学習されませんでした

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

ウォーターマーク(20%) の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

ウォーターマーク（透過度30%）を入れた画像とノイズなしの画像を半分ずつ混ぜて学習した場合（Glaze・Nightshade未使用）

epoch 12

ほんの少し斜めのラインが入っているように見えます。
過学習状態になるとウォーターマークが出やすくなりました

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

ウォーターマーク(30%) の画像から16枚、ノイズ未適用の画像から16枚を交互に選択しました

epoch 2

epoch 4

epoch 6

epoch 8

epoch 10

ウォーターマーク（透過度20%）を入れて、ウォーターマーク除去をプロンプトでのみ指示した場合

ウォーターマーク（透過度20%）
学習時のウォーターマーク除去タグ付けはナシ
ネガティブプロンプトでウォーターマーク除去指示を追加
Glaze・Nightshade未使用

epoch 8

プロンプトだけでウォーターマークの除去はやはり難しいようです

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

ウォーターマーク(20%) のデータセットをそのまま使用しています

epoch 2

epoch 4

epoch 6

epoch 10

epoch 12

ウォーターマーク（透過度20%）を入れて、ウォーターマーク除去をタグとプロンプトの両方で指示した場合

ウォーターマーク（透過度20%）
学習時のウォーターマーク除去タグ付けはアリ
ネガティブプロンプトでウォーターマーク除去指示を追加
Glaze・Nightshade未使用

epoch 10

ウォーターマークは大分除去できていますが、学習があまり進んでいません。
ノイズなしの学習成功例と比較して、色や形状の特徴が学習できていませんね。
他にも何パターンか試しましたが、やはりStable Diffusionの学習だけでウォーターマークを完全に除去するのは難しそうです
（或いは学習方法に何か間違いがあるのかもしれません）

調査詳細 (学習元画像・epochごとの変遷)

学習用データ

ウォーターマーク(20%) のデータセットにタグ「watermark,english text」を学習対象に追加

epoch 2

epoch 4

epoch 6

epoch 8

epoch 12

検証結論

ウォーターマークは、ハッキリした形状かつ顔や髪など対象物にかかっていれば学習に組み込まれる
LoRA学習時にウォーターマークを除去する指示を出しても2024/10末時点では、まだ完全に除去はできない

次章

画像生成AIにとって一番嫌なノイズを探す -調査編(3)-