機械学習
GANs

CycleGANを用いたスタイル変換

2018年9月15日の 機械学習名古屋 第17回勉強会 で話した内容をまとめておきます。

内容は CycleGAN 使って遊んだという話です。そんなに上手くいかなかったけど供養として。

CycleGAN の keras 実装は https://github.com/kiyohiro8/cycleGAN_keras

CycleGAN の問題設定や損失設計については CycleGAN にまとめました。


Unpaired Image-to-image translation

image.png


CycleGAN の構造

image.png


Adversarial Loss

image.png


Adversarial Loss だけでは不十分

image.png

image.png


Cycle Consistency Loss

image.png


Fully Objective

image.png


例1 チーズケーキ ⇔ チョコレートケーキ

image.png

image.png

image.png

image.png


例2 風景写真 ⇔ Magic: the Gathering のイラスト

image.png

image.png

image.png


フルサイズの画像に対する変換例 (風景写真 → イラスト)

全体として暗く妖しい雰囲気になってしまいます。

000000.jpg

000000.jpg.png

000022.jpg

000022.jpg.png