CycleGANを用いたスタイル変換

2018年9月15日の 機械学習名古屋 第17回勉強会 で話した内容をまとめておきます。
内容は CycleGAN 使って遊んだという話です。そんなに上手くいかなかったけど供養として。

CycleGAN の keras 実装は https://github.com/kiyohiro8/cycleGAN_keras
CycleGAN の問題設定や損失設計については CycleGAN にまとめました。

Unpaired Image-to-image translation

CycleGAN の構造

Adversarial Loss

Adversarial Loss だけでは不十分

Cycle Consistency Loss

Fully Objective

例1 チーズケーキ ⇔ チョコレートケーキ

例2 風景写真 ⇔ Magic: the Gathering のイラスト

フルサイズの画像に対する変換例 (風景写真 → イラスト)

全体として暗く妖しい雰囲気になってしまいます。