CycleGAN

pix2pixの欠点とCycleGANの登場

pix2pixの登場によって高精度なスタイル変換が可能となったが、pix2pixの学習データは変換前後のペアである必要があり、タスクによっては学習データをペアで準備することは難しいという現実があった。

その問題を解決したのがcycleGANである。生成器と識別器を二組用いることにより、学習データがペアでなくてもスタイル変換を可能にしたのである。

↓生成器と識別器が２つずつ！ループしている！

↓スタイル変換の学習に対して、pix2pixだと左のような変換前後のペアが必要だったが、CycleGANでは右のようにペアである必要がなくなった！

具体的なCycleGANの仕組み

発想としては、

F(G(x))≒x
G(F(y))≒y

と表される、循環による一貫性を満たすような写像（生成器）

F,G

を考えてあげれば、二つの写像が互いに逆写像でかつ全単射となる。これはつまり、二つのドメイン内の要素

x∈X, y∈Y

がお互いに意味のある対（スタイル変換）になっていることを示している。
じゃあこのような二つの写像（生成器）をどうやって学習するのか？

様々な損失

二つの写像を学習するために、３つの損失関数を導入する。

・サイクル一貫性損失

・敵対性損失

・同一性損失

1.サイクル性損失

CyclsGANの特徴的な損失関数。

F(G(x))≒x
G(F(y))≒y

この関係を満たすような、

F,G

になるように学習する。
そのためには、

上式の通り、

変換前のデータx, Gで変換後にFで再構築したF(G(x))\\
変換前のデータy, Fで変換後にGで再構築したG(F(y))

の二組についてそれぞれL1ノルムを取る。

2.敵対性損失

これは一般的なGAN(ex. DCGAN)などの損失関数と同じ。

(G, Dy,X, Y)

と同様に、

(F,Dx,X,Y)

についても考える。

3. 同一性損失

（ここでは紹介程度にとどめる。）
正規化のための項を導入して生成画像の色合いが元画像と一貫したものになるようにするもの。
画像に対する不要な変更にペナルティを課す。
具体的にシマウマ⇄ウマのスタイル変換で考える。
ウマ→シマウマの写像に、シマウマの画像を入れた時にシマウマをさらにシマウマにスタイル変換させるような不要な変換に対してペナルティを課す、ということである。
これにより、CycleGANが画像全体の色構造を保存できるようになる。
この損失関数がなくてもCyclaGANは動作する。

最終的な目的関数

λは、敵対性損失とサイクル一貫性パラメータのバランスを決めるハイパーパラメータ。
論文中では、λ＝10が使用されている。
最終的に、下式を考えることで生成器を学習する。

CycleGANの成功例

apple⇄orange

zebra⇄horse

winter⇄summer

CycleGANの失敗例

cat⇄dogで失敗している：CycleGANは入力画像の小さな変更しかできない。
horse⇄zebraで失敗している：訓練画像に、人が乗っている画像がなかったからだと考えられる。

他の例も見たい方は、こちらのWebSiteへGO!!!

参考文献

・https://arxiv.org/pdf/1703.10593.pdf
・https://www.slideshare.net/yoheiokawa/cyclegan-88149870
・https://qiita.com/hikaru-light/items/98d06b21b4f3e2bb6ca4