NEW GAME! フィルタを通した著者

NEW GAME! フィルタを通したドワンゴの風景

NEW GAME! というアニメはご存知でしょうか。女の子たちがワイワイとゲーム会社で働く日常を描いた作品で、非常に良い作品なのですが、一方でこんなキラキラした会社ねーよと言われた挙句、実はあそこにいるのは皆中年男性で、働きすぎて周りが皆美少女に見える幻覚が見えているのではないかという説まであったりします。ドワンゴのslackには、バーチャル彼女生成系チャンネル#kanojo_createや、美少女変身願望チャンネル#become_bishoujoというものが存在するので、現実を捻じ曲げてしまう異もあながちあり得ない話ではないのではないかとも思ってしまいます。

私もそんな一人であり、そんな美しい幻覚なら喜んで受け入れよう、ということで作ったのがこのリアルタイムNEW GAME!フィルタです

似顔絵データが存在しない = 転移学習

さて、ここでやりたいのは、実写画像を入力として、その実写画像に似てはいるが、二次元美少女に見える画像を機械学習で生成することです。

まさにそのものズバリ、という研究はないのですが、シンプルに考えるなら、この問題は以下のようなネットワークで実現できることがわかります。

最終的に作りたいネットワーク

しかし、このアイデアには問題があり、入力(実写)と出力(似顔絵)の対応付けられたデータセットが必要だが、それは手に入らないのです。自分には絵を描くスキルがないのに、絵を描かないと学習ができないというのは辛い問題です。

ここで、問題をいくつかのステップに分割することでどうにかこうにかやりくりして学習することを考えます。このように、そのものずばりのデータがない、などの理由でバシッと解けない問題を、複数の部分問題を順番に解いていくことで何とか解決する学習方法を転移学習と言います。

似顔絵ネットワークの学習は、次の3STEPに沿って進んでいきます。

Step	内容	ネットワーク
1	とりあえずなんらかの美少女が生成できるネットワーク
2	入力のイラストに似せた美少女を複製できるネットワーク
3	実写を入力として、それに近い美少女を生成できるネットワーク

アーキテクチャの全体図は以下のようになり、青のGeneratorをどんどん強くする形になっています。

転移学習アーキテクチャ

STEP1: Generator = ランダムイラストネットワーク

STEP1でやりたいこと

似顔絵生成の問題の第一歩として、まずは、様々なイラストを描くことができるネットワーク、を作ります。これは2016年に非常に盛り上がった手法で、沢山の先行研究があります

ここでも、これらの例に漏れず、まずはGeneratorについて、DCGANを用いた学習を行います。ここでは、まだ実写のことは考えずに、イラストのデータだけを使って学習することができます。イラストは、nico-illustデータセットから20万件ほどを用いて学習しました。

Generatorの学習

詳細については前述のブログに任せますが、新しく、入力が実在のイラストか生成画像かを判別する赤色の Discriminator を導入し、これを騙すように青色の Generator をトレーニングすることで、Generatorが様々なイラストを描ける能力を獲得するものです。

結果1: Generatorによって創作されたイラストたち

このトレーニングによって獲得した、イラストを描く能力、の結果はこちら⬆︎。それなりに納得のいくイラストができました。ただし、この段階では、こうこうこういうイラストを描いてくださいという注文をすることはできません

STEP2: 入力のイラストに似せたイラストを複製

では、自分好みのイラストを描いてもらうにはどうしたらいいでしょうか。
こちらに関しても、文章などで何らかの注文(条件)を追加する先行研究があります。
今回は最終的に実写->イラストとしたいため、画像を条件として入力し、なるべくそれに近い画像を生成するように学習します。

STEP2でやりたいこと

上図のように、STEP1で学習したVectorizerに加えて、Vectorizerというあらたなネットワークを導入し、これによって、 入力画像を復元できるGeneratorの入力パラメータを見つけます

Vectorizerの学習

学習の方法は上図の通りで、STEP1で学習したGeneratorをつかえば、ランダムなパラメータと、それをGeneratorに入れたときにできた画像を無限に用意できるので、それらを学習データとして、逆にもとのパラメータを復元するようにVectorizerを学習するのみです。

このSTEPが終わると、Generatorによって生成された画像であれば、ほぼ完璧に復元でき、一般のイラストもある程度再現できるようになります。ただし、このネットワークはイラストしか見たことがないので、実写画像については、まだ似顔絵を描くことはできません

STEP3: 実写画像を入力として似顔絵を生成

STEP3でやりたいこと

さて、機械学習を専門とする人にはここが一番面白いところかと思います。いままで、イラストしか学習してこなかったネットワークにどうやって実写画像からの似顔絵生成を行わせるか。

まず、前提として、Generatorは何を入力してもイラストにしてくれるので、STEP2までのVectorizer->Generatorでも、何らかの顔イラストは生成することはできます。ここでやりたいのは、"入力実写画像の特徴を保った出力イラストを作る"という制約をどうやって学習させるか、です。たとえば、安直に、もとの入力と画像的に近いイラストを出力するように、と考えてしまうと、これは似顔絵ではなく実写画像そのままを作ってしまいます。

この問題を解決するためには、実写画像と似顔絵では共通しているべき特徴のみを保存するという方法が必要です。

実写画像Vectorizerの学習

実写画像 -> Vectorizer -> Generator -> (似顔絵) -> Classifier -> 元の顔の特徴

上図のように、新たにClassifierを導入し、一旦STEP2のVectorizer->Generatorを経由して、似顔絵を無理やり作り、その似顔絵から、 元の画像の特徴(若い、丸顔、くまがある etc...)を識別できるように、Classifier、Generator、Vectorizerをまとめて学習し直します。顔の特徴のタグがつけられてるデータセットとして、Large-scale CelebFaces Attributes (CelebA) Dataset
を利用しました。

なお、Vectorizer、Generator、Classiferともに5層のニューラルネットワークで構成しているので、STEP3まで至ると、まとめて15層の(ディープ)ニューラルネットワークとして扱っていることになります。