Discover Cross-Domain "Relations with Generative Adversarial Networks
最近機械学習の勉強をしていたら面白い論文がつい最近発表されていたので紹介させていただきます。
今日はunsupervised image to image の一種である
"Discover Cross-Domain "Relations with Generative Adversarial Networks"
https://arxiv.org/abs/1703.05192
のざっくりした紹介だけさせていただきます。
※ここではGANの説明は省かせていただきます。*1
今までは教師ありなimage to imageとして
"Image-to-Image Translation with Conditional Adversarial Networks"
https://phillipi.github.io/pix2pix/
などが世間を賑わせていました。
しかしこいつは面倒なことに対応する画像をラベリングすることでしか学習できないためデータセットを用意するのが大変という問題点があります。
今回の紹介するGANは unsupervised(教師無し)でもかなりの精度が出せるため是非紹介させていただきたいです。
ネットワーク全体は以下のようになっています。
このGANのみそはGabとGbaをクロスさせ学習していくことで二種類の画像間から認識したいドメインを学習できるというところにあります。
新しい難しい理論は特に出ていません。
注意すべきところはGeneratorのloss関数に元の画像と復元画像との距離を考慮しているところです。
今まで出ていたunsupervised系よりも汎用性が高そうです*2。
発表されてから三日後にtorchpyでの実装が発表されていたので私も動かしてみました。
(21000 iteration)
https://github.com/carpedm20/DiscoGAN-pytorch
教師無しでここまでの精度が出せるのは感動です！
まとめ
これ使えばラフ画to線画とかのデータセットも簡単に用意できそう。
今後もunsupevisedなimage to imageに注目していきたい。
*1 GANは以下の論文が数学的背景も書かれていてわかりやすいと思います。
https://arxiv.org/pdf/1406.2661.pdf
*2 unsupervised image to image 系で有名どころと言えば以下の論文があげられると思います
1,"Learning from Simulated and Unsupervised Images through Adversarial Training"
https://arxiv.org/abs/1612.07828
2,"Unsupervised Image-to-Image Translation with Generative Adversarial Networks"
https://arxiv.org/abs/1701.02676
1は元画像とrefine画像との距離を取っているので似たような画像間でしか難しいと思います。
2も汎用性は高いと思いますが、限られた範囲でのみだと思われます。