はじめに

最初にご報告があります。我が家の猫ちゃんは非常に可愛いです！！！普段もよく写真を撮っています。

そして今日、平成最後の日において、この子に関する記事を書こうと思いました。

ということで、今回は我が家の猫ちゃんの写真で遊べるNeural Style Transfer(NST)について記事を書きます。

あくまでも個人の趣味なので、間違いがあったらご容赦ください。

NSTの歴史

調べてみたところ、Qiita上にすでにDeNA社のエンジニアによる素晴らしいまとめ記事が存在します。非常にわかりやすく書いてあります。良かったらチェックしてみてください。

NSTの発展はGatys et al.から始まり、キーアイディアは、pre-trainedの画像認識用の内部のConv層の出力であるfeature mapの統計情報(平均、分散など)が画像の画風を表現できるということです。

最初はoptimizationベースの手法が多いでしたが、その後、Feed-forward networkを生成器として使った研究が主流となりました。その中の代表的な手法とそれらの説明はDeNA社の記事に書いてあるので、ここでは詳しく比較しません。

今回はその中で割と簡単なAdainを実装したので、ここでは簡単に補足説明します。

Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

この手法はAdaptive instance normalization/Adainを使うのが特徴です。Adainを理解するには、まずInstance normalizationを理解しなければなりません。

しばしば, Instance normalizationとBatch normalizationがよく比較されますが、一体どういう違いがあるでしょう？

一般的なCNNの中間層の出力を考えます。そのサイズは(b, c, h, w)としましょう。では各Normalization手法はどういうところで正規化し、どういう平均と分散が得られるかをまとめてみましょう。

BN
- (b, c, h, w)のb, h, wに対し、平均と分散を計算します。
- shape=cの平均と分散のベクトルが得られます。
IN
- (b, c, h, w)のh, wに対し、平均と分散を計算します。
- shape = (b, c)の平均と分散の行列が得られます。
LN（ついでにLayer Normalizationも説明しましょう）
- (b, c, h, w)のc, h, wに対し、平均と分散を計算します。
- shape = bの平均と分散のベクトルが得られます。

この論文の提案手法は何をしたかというと、真ん中にAdain層が存在するVGGベースのAutoEncoderを学習させます。Conten画像とStyle画像をそれぞれEncoderに入力して、ここでは、それぞれの出力のfeature mapをC_feature, S_featureと呼びましょう。それぞれに対して、IN手法のように、C_featureとS_featureの平均と分散を計算します。最後に、C_featureをC_featureの平均と分散で正規化して、S_featureの平均と分散で逆正規化します。言い換えると、C_featureの平均と分散をS_featureのものに変えます。なぜかというと、Gatys et al. による、feature mapの統計情報が画風を表せるという理由からです。

元論文の実装はTorchでやってましたが、今回はAdainをPytorchで一から実装しました。CodeはGithub上に載せておきます。よろしければチェックして、スターをください。