CycleGANで漫画をカラーにしてみる～ゆゆ式を例に～

#1. はじめに
本記事は、ゆゆ式AdventCalender2018の最終日の記事です。

今日はクリスマスということで街は色付いています。
色付くと言えば、皆さんは週刊雑誌の巻頭カラーやセンターカラーが、何故単行本に収録されるときには白黒になってしまうのか疑問におもったことはありませんか？(←強引すぎる話の持っていき方)
おそらく印刷の問題とかなのでしょうが、せっかくならカラーで読みたい！

そこでこの記事では、CycleGAN¹を用いて白黒漫画をカラーにすることを目標としています。

#2. CycleGANとは
CycleGANは、2つの画像群を学習することで、相互に変換する関数を得ます。この変換によって生成された画像が判別機を騙せる様に、かつ以下の図においてAからBに変換した画像をもう一度BからAに変換した時に元画像に戻る様に学習していく学習器になります。

つまり、白黒画像とカラー画像を学習させれば、白黒画像からカラー画像を得る関数を得ることができる、ということになります。(逆も然り)

pix2pixと似ていますが、2つの画像群には複数の画像を用意すればよく、それぞれが1対1に対応している必要はありません。
使用している損失関数の都合上、CycleGANはテクスチャ変更が得意な一方で、形状変化は苦手とするようです。元論文での実験結果はこんな感じ。

ここでは概要のみ説明しました。
CycleGANの詳しい説明は
PyTorch(15)CycleGAN(horse2zebra) - 人工知能に関する断創録
をご参照ください。

#3. ゆゆ式とは
ゆゆ式はまんがタイムきららにて連載中の漫画で、2013年にはテレビアニメ化されました。今年は連載開始から10周年の年に当たります。おめでたい。

公式サイトより引用

私はそれについて尋ねられなければゆゆ式が何か知っている。尋ねられればそれを知らない。
by 変な人

#4. 実装＆学習
###動作環境
今回は動作環境として、GoogleのColaboratoryを利用しました。Colaboratoryはオンラインで動作するJupyter Notebook環境で、無料でGPUを使用することができます。(時間制限有り)

実装はCycleGANをTensorFlowで実装しているこちらを参考にしました。
全てのpythonファイルの中身をJupyter Notebookに移して、それぞれのファイルのimport文をコメントアウトすれば動きますが、実行の順番に注意してください。
utils -> ops -> module -> model -> main の順です。

1つ注意点として、Jupyter Notebookでは

main.py

args = parser.parse_args()

でエラーとなってしまうので、こちらの記事を参考にソースコードを以下のように変更する必要があります。

main.py

#以下をコメントアウト
#parser = argparse.ArgumentParser(description='')
#途中略
#args = parser.parse_args()

#以下を追加
!pip install easydict
import easydict
args = easydict.EasyDict({
       'dataset_dir': 'yuyu',
       'epoch': 200,
       'epoch_step': 100,
       'batch_size': 1,
       'train_size': 1e8,
       'load_size': 143, #デフォルトでは286
       'fine_size': 128, #デフォルトでは256
       'ngf': 64,
       'ndf': 64,
       'input_nc': 3,
       'output_nc': 3,
       'lr': 0.0002,
       'beta1': 0.5,
       'which_direction': 'AtoB', #逆変換はBtoA
       'phase': 'train', #テストの際には'test'
       'save_freq': 1000,
       'print_freq': 100,
       'continue_train': False,
       'checkpoint_dir': './checkpoint',
       'sample_dir': './sample',
       'test_dir': './test',
       'L1_lambda': 10.0,
       'use_resnet': True,
       'use_lsgan': True,
       'max_size': 50
})
#続く

###データセット
ゆゆ式の単行本²から、それぞれ50枚の白黒のコマ画像とカラーのコマ画像を取得し学習用に用います。今回は、情報処理部の3人(ゆずこ、唯、縁)についてのみ学習させます。データセットとしては心許ない枚数ではありますが、リソースの制約上とりあえずこれで学習してみます。またそれ以外に色を付けたい(or色を消したいコマ)をテスト用として取得します。それらを以下のような階層構造となるようにカレントディレクトリ直下に配置します。

└─ datasets
    └─ yuyu
        ├─ trainA  #学習用の白黒のコマ
        ├─ trainB  #学習用のカラーのコマ
        ├─ testA  #テスト用の白黒のコマ
        └─ testB  #テスト用のカラーのコマ

ここまで来たら準備は終わりで、いよいよ学習です。
main.pyの内容を実行すると学習が始まります。

またこの実装において画像サイズは256×256ですが、学習時間の短縮の為128×128に変更して学習を行いました。

#5. 結果
今回は、学習epoch数を200/500/1000と変えて実行してみました。

まずは200epochsの学習結果からです。
元画像/出力画像の順に並べています。
###200epochs(学習時間：約1.3時間)

3人のサンタコスを赤色に塗ってくれているのは偶々でしょうか。。訓練データにサンタ服は無かったはずなんですが、、
髪の色もちゃんと塗り分けられている感じ。

次に500epochs。

###500epochs(学習時間：約3.3時間)

色は鮮やかになったけど、文字がぼやけている。

半分(ゆ)ずっこ。

最後に1000epochs。

###1000epochs(学習時間：約7時間)

背景の塗り分けが面白い。

文字もちゃんと復元できている。背景の違う2パターン。

学習データに入れていない、あいちゃん・ふみおかもいい感じに塗れてる？

####おまけ

細かいパーツの塗り分けもできているように思われる。

#6. おわりに
今回はCycleGANを使って、白黒漫画に色付けを行いました。その結果、1000epochsも学習させるとそれなりに正しく色を塗れているように感じました。また、少ない枚数の画像セットでもそれなりに学習できることに驚きました。これからもGANの発展とゆゆ式から目が離せません。

ゆゆ式AdventCalender2018に参加した皆さん、お疲れ様でした。
それでは、メリークリスマス＆良いお年を！

#参考文献

1. Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros, Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, arXiv preprint arxiv:1703.10593, 2017. ↩

2. 「ゆゆ式 第1~9巻」 三上小又 芳文社 ↩