1. はじめに
この記事は、ゆゆ式AdventCalender2019の24日目の記事です。
2. やりたいこと
-
ゆゆ式の世界に行きたい
→顔写真をゆゆ式風に変換したい
去年のAdventCalenderでは、CycleGANで白黒の漫画への自動着色を試しました。(CycleGANで漫画をカラーにしてみる～ゆゆ式を例に～)
CycleGANは、色やテクスチャを変えるなどのスタイル変換は得意な一方で、形状変換は苦手という特徴がありました。
そこで今年は、スタイル変換と形状変換の両方を実現するGANであるU-GAT-ITを用いて、顔写真からゆゆ式風のイラストを生成してみます。
イメージはこんな感じ↓
(mantan-webより引用)
3. U-GAT-IT
U-GAT-ITでは、CycleGANが苦手としていた形状変換も行えるようになっています。
以下は、著者が論文で公開している結果です。
一番左が元の写真ですが、猫→犬などの形状変換を伴う変化も上手く行えていることがわかります。
4. ゆゆ式
[ゆゆ式](https://www.yuyushiki.net)は、まんがタイムきららにて連載中の三上小又先生による4コマ漫画です。
5. 学習
学習はGoogle Colaboratoryで行いました。
学習はこちらのリポジトリから、util -> ops -> UGATIT -> mainの順にNotebookのセルに貼り付けて実行していけば良いです。
ただしNotebookで実行する際にはparserがエラーになるので、以下のように変更します。
#以下をコメントアウト
#parser = argparse.ArgumentParser(description=desc)
#途中略
#parser.add_argument(...)
#以下を追加
!pip install easydict
import easydict
args = easydict.EasyDict({
'phase': 'train',
'light': False,
'dataset': 'yuyu',
###以下略
})
データセットは、カレントディレクトリ直下に以下のように配置します。
└─ dataset
└─ yuyu
├─ trainA #学習用の女性の写真(selfie2animeから転用)
├─ trainB #学習用のゆゆ式キャラの写真
├─ testA #テスト用の(ry
└─ testB #テスト用の(ry
さて、ここまで用意できたら学習を開始します！
このモデルは非常に大きく、100枚ほどしかないデータセットでも、メモリに乗らないというエラーが頻発しました。。
そんな時はargsの'light'をTrueにすると、lightバージョンで学習を行ってくれます。(精度とトレードオフですが、、)
今回は100iterationを1500epoch学習しました、ちょっと過学習気味です。
○結果
元写真/変換結果写真です。
確かにゆゆ式タッチの絵ですが、微妙ですね...
6. 終わりに
今回は、なかなか思うような結果が得られませんでした。
モデルの性能をうまく引き出せず申し訳ないです。
学習データセットが小さすぎることが大きな要因だと思います。リソースの限界を感じています。。
(誰かゆゆ式データセットを作って欲しいです)
明日は最終日です。
みなさん良いクリスマスを！