前回の報告で、CycleGAN－likeなモデルについて報告した。
今回は、その延長として、さらにGANを連結するとどうなるか？
を調べてみた。
以下のモデルでその収束性などを見た。
今回のコードは以下に置いた
MuAuan/multiGAN
今回提案のモデル
３連結GANを提案する。というかある意味これ以上の高次の連結GAN、すなわちmultipleGANである。ここではベースのGANに敬意を表して
pix2pix-multiGAN
と称することとする。
X ⇒ G(Dx) ⇒ Y'
Y ⇒ G(Dy) ⇒ Z'
Z ⇒ G(Dz) ⇒ X'
通常だと、到底収束しないだろうと考えられるが、今まで見てきたようにpix2pix構造のcGANでは、過学習のおかげか一つ一つのＧＡＮは収束することから、同じGeneratorを使ったとしても収束する可能性は高い。
ということで、早速結果を以下に示す。
結果
猫・犬顔－男性顔－飛行機の連続するGANを8000epoch回した。一回当たりの経過時間は、486min/8000epoch～3.645sec/epochである。この時間で３つのGANを回しているので、やはり相対決め打ちでフィッティングしているようだ。そして、得られた結果は以下の通りとなった。
上段：入力
中断：出力
下段：ターゲット元画像
データが１０個ずつでランダムに選ばれるので、なかなかサイクリックな状況を示し難いが、一応見えると思う。
そして、猫の瞳や飛行機の空の青さまでかなり再現しているのがわかる。
次に、このフィッティングで得られたパラメータを使って、名画－男性顔のテストデータに適用した絵が以下の通りとなった。
結果は極めて不可解である。なんとなく男性顔や犬顔が出てきているようである。しかし不鮮明である。そして何より前回のpix2pix-cycleGAN-likeで示した画像ペアや上記の画像ペアと同じペアが表れている。
pix2pix_cycleGAN-likeモデルができたよ♬
もう一度言うが、名画の情報は一切入れていない。
ということで、以下二つのことが推測される。
①このモデルは完全に過学習というわけでもない
②相対ペアは何らかの法則で決められる
まとめ
1.pix2pix-cycleGANの延長として、新たにpix2pix-multiGANを提案した。
2.モデルで得られるテンソルは完全に過学習というわけではない
3.グループで変換した場合でも、何らかの法則に従って相対ペアが形成され、フィッティングが実施される。その結果、計算(収束)速度は連結するGANの個数にリニアに依存する。
課題
1．相対ペアの形成は依然不明である
2,pix2pix-multiGANは、トポロジカルに単連結なネットワークであれば、どこまで増やしても収束するのか
⇒次回は６連ガチャに挑戦したいと思う