Unsupervised Image-to-Image Translation Networks
従来提案されてきたimage-to-image translationは教師あり学習に基づいたものであった。
しかし異なるドメイン間に適切な教師ありデータを用意する事は難しい。
本論では教師なし学習の枠組みでこれを提案する。
このモデルはVAEとGANを組み合わせたモデルであり、高レベル特徴を共有した各２つのエンコーダ、デコーダと判別機を持ち、異なった２つドメインのデータを入力して学習する。
この時、各デコーダは２つのドメインから得られたエンコーダの結果を両方入力し、２つの画像を生成する。
判別機は入力に用いた実際の画像と、デコーダから得られた２つの画像の３つの画像の間で実際の画像を判別するタスクを解く。
これらをGANの枠組みで最適化する事により、特徴を共有させながら学習するためドメインに依存しない一般的な特徴を学習可能になる。
このモデルを利用してあるドメインの画像を入力し、そこから異なったドメインへ適応した画像を生成する事が可能になる。
Stochastic Optimization with Importance Sampling for Regularized Loss Minimization, ICML2015
従来より訓練データを一様サンプリングし、それに基づいてstochastic optimizationを行う手法がある。
これはProximal Stochastic Mirror DescentやProximal stochastic dual descentを含む。
これらは一様サンプリングに基づくため不偏推定が可能であるが、しかし分散がおおきくなってしまうデメリットがある。
本論ではimportance samplingを用いる事で分散を軽減し収束レートを改善する手法を提案する。
Layer Normalization
各層のニューロンをnromalizeする事で学習効率を改善する事が知られている。
従来提案されているbatch normalizationは、ミニバッチに関して得られる入力分布に基づいた平均と分散を計算し、それにより入力をnormalizeする。
この手法はしかし入力バッチのサイズに依存しており、RNNに対してはどのように適用すれば良いかは決まらない。
本論で提案する手法は単一の訓練サンプルに対して、各ニューロンへの入力分布を考え、それを利用したnormalize手法を提案する。
この手法はbatch normalizationと同様に、normalize後で非線形活性関数を適用する前に、それぞれのニューロンへのadaptive biasとgainを計算する。
またbatch normalizationと違い、訓練時とテスト時で全く同じ計算を要求する。
RNNに対しても各時間ステップを分けてnormalizationを行う事にすれば、同じ枠組みで適用可能になる。
これによりRNNの各ニューロンを安定化する事が可能になる。