機械学習
MachineLearning
論文読み

機械学習論文読みメモ_86

Swapout: Learning an ensemble of deep architectures, NIPS2016
swapoutと呼ばれる、resnetよりも高性能なモデルを提案する。
swapoutはresnet, dropout, stochastic depthなどを含めたrichな構造セットからサンプリングを行う。
swapoutは正則化の機能として見た時に、dropoutのようなニューロン間のco-adaptationを防ぐ役割だけでなく、層間のco-adaptationを防ぐ効果がある。
これはswapoutが暗に層間のパラメータを関連付ける事ができる事に起因している。
またアンサンブル手法として捉えた時、従来手法よりも豊富な構造パターンを利用する事が可能になるため、表現力が向上している。
提案手法では従来のdropoutなどと繋がっており、かつそれ以外の豊富な構造も探索していく事が可能である。

Fast and Provably Good Seedings for k-Means. NIPS2016
kmeansにおけるseeding、つまりクラスタ中心の初期位置の決定は、性能向上のために重要である。
最近のsotaであるkmeans++によるseedingはしかしながら逐次処理に拠っており、またk個のクラスタ全てに対して計算が必要な事から大規模データには向いていない。
最近の研究によりMCMCを用いる事によりkmeans++のためのseedingを良く近似できる事がわかってきた。
しかしこの手法はデータの分布を仮定する必要がある。
そこで本論ではデータ分布を仮定する事なく良いクラスタリング結果を保証できるようなseeding手法を提案する。
本手法は計算コストと結果の精度に関するトレードオフを描き出す事ができる。

Unsupervised Domain Adaptation with Residual Transfer Networks, nips2016
推論対象となるデータに対するラベルが得られていない場合において、ラベル得られているドメインのデータからdomain adaptationを利用した学習を行う事が効果的である。
本論では新たな手法として、ラベルのあるデータとないデータを同時に利用し、適応的な分類器と転移可能な特徴を同時に学習する。
従来の2つのドメイン間でのshared-classifier仮定を緩め、代わりにresidual functionを用いる事で2つのドメイン間の差異を表現する。
提案モデルでは、対象ドメインのデータを利用しresidual functionによって陽に対象ドメインに適応した分類器を学習する。
Feature adaptationは各層の特徴をテンソル積により組み合わせて表現し、それをRKHSへ埋め込み其の上でマッチングを行う事で実現した。