On Characterizing the Capacity of Neural Networks using Algebraic Topology
データの複雑性に関する計算可能な指標を用いて直接に
異なったネットワークの学習可能性を特徴付ける事は可能である。
本論では、inductive biasを超えて、最も表現性と一般性の高い構造
はデータに対してどのように決まるのかという観点より構造探索の
問題を再定義する。
本論ではまず代数的幾何をデータの複雑性を表す指標として用いる事
を提案する。
その上で、モデルの一般化性能を限定する要因として位相構造に対する
表現力があることを示す。
そしてさらにネットワークの位相的な複雑性を特徴づけを行う。
Learning Multiple Levels of Representations with Kernel Machines
ニューラルネットワークにインスパイアされたカーネルマシンを提案する
この手法は従来のカーネルマシンに対していくつかのメリットを持つ。
提案モデルは、分散または階層表現が可能である。
性能はカーネル関数の選択に対してロバストである。
解空間はＲＫＨＳ上の学習データのspanに限定されない。
このモデルに対して、greedyな学習手法を提案する。
この手法によって、各層毎の学習が勾配法を利用する事なく可能になる。
これはＲＫＨＳ上の学習データ構造に対する最適化を行うことで実現する。
Image Transformer
画像生成の問題は自己回帰的な逐次生成の問題にうまく帰着できる。
最近の研究では、self-attentionを用いる事でtextual sequenceを効率的に扱う事ができる事がわかっている。
本論ではこうしたself-attentionに基づく手法を一般化し、画像生成に適用可能にした。
提案手法で用いるTransformerは近傍のみのattentionに限定する事で、
実用時に処理効率を改善する事ができる。
その一方で、CNNと比べて大きな受容体領域を確保する事ができる。
また2次元データである画像の性質に合わせたattentionの仕組みも提案する