もう一つ重要な要素
それは、そもそもpix2pix(u-net版)が過学習だという疑惑。。。
今回、はからずもこの問題に決着がつきそうなのだ。
つまり、今回のStarGANのベースとして、pix2pix(u-net版)とpix2pix(encoder-decoder版)の両者利用して学習を実施してみた。
データ等については、同一条件である。
今回はその結果を示そうと思う。
ただし、学習した画像自身や学習に要する時間などはほとんど変わらない。では一体何が変わったのか？
両者を別のテストデータに適用したときに大きな差が出現しました。
このことは、以前も同様な現象がありましたが、あまりはっきりしたことは言えませんでした。
ということで、以下結果を示します。
未知データの準備
ここでは、AKB総選挙2017の２番目のまゆゆさんと１０番目のキタハラさんのデータを適当に１００個ずつ選んで、それを同数５０個ずつ混ぜ合わせたものを使った。
こうすることにより、適用したときの相対ペアをモデルに選ばせられるし、結果についての予測もしずらくなると考えた。
また、パラメータはどちらも８０００epoch回して得られたものを利用した。
pix2pix(u-net版)－starGANモデルの未知データへの適用
以下、いくつかの結果を示す
。。。以下続けたいがまともなのは学習に使ったデータだけなので、ここでやめる
pix2pix(encoder-decoer版)－starGANモデルの未知データへの適用
以下、すべての結果を示す。示すことができる。
結果の評価
結果は、一目瞭然である。pix2pix(u-net版)では、明らかに当該画像のみ学習しており、その他の画像については、ほとんど適用できないといえる。
一方、pix2pix(encoder-decoder版)をベースにしたstarGANはまだまだぼやけているが、かなり女性顔を示していると言える。というか、誰に似ているか程度には判別でき、表情の学習として、
素顔⇒変顔⇒泣き顔⇒不満顔⇒怒り顔⇒笑顔⇒素顔
を意識して見ると、そう言えばという順番になっているように思う。みんな笑っている入力がほとんどのため、素顔が多いが。つまり、学習した顔以外の顔についても、案外上記並び順が適用されていると評価できる。
また、時折シャープな画像が出現するが、それはもともと学習に使った画像である。
まとめ
１．今回の結果からpix2pix(u-net版）-starGANは過学習である
２．一応、pix2pix(encoder-decoder版)-starGANは１０個／カテゴリの６連結GANでも学習できており、学習データ以外のデータにも適用できる。
課題
１．前回同様の課題に付け加えて、さらに学習していくとさらに綺麗になっていくのか
２．pix2pix(u-net版）はpix2pix(encoder-decoder版)に比して優れた部分はないのか