Differentiable Compositional Kernel Learning for Gaussian Processes
ガウス過程の汎化性能はカーネルの選定に大きく依存しており、その選定は職人芸的である。
本論では代わりにカーネルをニューラルネットワークで表現して学習させる
neural kernel networks (NKN)を提案する。
NKNはカーネル関数が持つ特徴であるcomposition ruleを用い、
各ユニットにカーネルを用いる。
これにより、カーネル構造を微分可能な形で学習可能にする。
またNKNはstationary kernelのクラスにおいてはuniversalな表現である
ことを示す。
Image-to-image translation for cross-domain disentanglement
deep learningに基づいた画像変換技術はマルチモーダルなデータをカバーし高精度な性能を発揮してきた。
最近ではさらに、学習によって獲得された内部表現のdistentanglementを行う事でさらなる性能向上及び
より良い制御性を目指している。
本論では、これら２つの目的を統合し、cross domain disentanglementのコンセプトを提案する。
このために内部表現を３つへ分離して考える。
そのうち、shared partは両ドメインで共有される情報を保持する。
一方2つのexclusive partsは各ドメイン特有の情報を保持する。
提案手法はGANと新たに提案するcross-domain autoencoderを用いたbidirectional image translationに基づいている。
Dynamical Isometry and a Mean Field Theory of CNNs: How to Train 10,000-Layer Vanilla Cnovolutional Neural Networks
近年、CNNはCVにおいて多くの場合で用いられるようになった。
特に多層のモデルを学習する際に発生するvanishing/exploding gradient問題は
residual blockやbatch normalizationの利用で回避されてきた。
しかし実際にresidual blockやbatch normalizationが多層モデルの学習に
必須であるかは分かっていない。
本論ではそうした手法を用いず、適切な初期化を行うだけで多層のCNNが学習可能で
ある事を示す。
本論では、この初期化手法は平均場定理とdynamical isometry制約に基づいて導出した。
dynamical isometryは入出力に関するヤコビアンの平衡を示す。
この制約は畳み込み層においてnormは保存された直交行列の利用を要求する。