Meta-Learning and Universality: Deep Representations and Gradient Descent can Approvimate any Learning Algorithm
Learning to learn、あるいはmeta-learningはデータから効率的に学習を行うために重要である。
従来手法で一般的なのは、recurrent modelとして学習データを入力、学習済みモデルのパラメータまたは新しいデータに対する予測結果を出力するものがある。
また他にも、効率的なfinutuningを実現するためのdeep representationを獲得させる手法も存在する。
本論ではこうしたmeta learningをuniversalityの観点から捉える。
ここでは、learning algorithm approximationという指標を導入し、
それに基づき、従来手法の表現能力を比較した。
この比較を通して、deep representationとSGDの組み合わせで十分に任意の
アルゴリズムを近似できる事を確認した。
CycleGAN, a Master of Steganography
CycleGANは２つの画像分布間の関係を学習可能な最新の成功モデルである。
本論ではCycleGANの持つ新たな特性について述べる。
それはCycleGANはsource imageに関する情報を生成された画像の中に隠す事である。
この情報を利用する事でCycleGANは再構成誤差を最小化する事ができる。
この事実を通して見ると、CycleGANは敵対的サンプルを生成できるモデルと考えられる。
Learning Wasserstein Embeddings
Wasserstein distanceは分布間の距離を求める指標として注目を集めてきた。
しかしながら未だ高い計算コストが課題である。
本論では近似手法を用い、その複雑さを和らげる事ができる。
提案手法はEuclidean distanceがWasserstein distanceを近似するような埋め込みを学習する。
ネットワークはsiamese architectureを採用し、特徴空間上の２サンプル間の距離が
Wasserstein距離に一致するように最適化を行う。