Large Margin Discriminant Dimensionality Reduction in Prediction Space, NIPS2016
本論ではboostingとSVMの間にある双対性を導く。
この双対性を利用する事で新たにdiscriminative dimensionality reduction手法を提案する。
いまマルチクラス分類の設定において、boostingとSVMは双方ともに特徴写像と線形分類を行っている。
特にSVMは事前に設定されたカーネル関数を用いるため特徴写像が固定されておりその上の線形分類器が学習される。
一方boostingでは用いる線形分類器は固定されておりその組み合わせ方の学習を特徴写像と捉えられる。
ここで得られる特徴写像はまた、データの分類可能性を保っており、さらに次元数を制限する事で、discriminative dimensionality reductionの枠組みで捉える事が可能になる。
以上を踏まえて、本論ではLADDERと呼ばれる手法を提案し、これは特徴写像と線形分類器を同時に効率的に学習する。
Robustness of classifiers: from adversarial to random noise, NIPS2016
SOTAに分類器は敵対的サンプルに脆弱である一方、ランダムノイズには頑健である傾向が知られている。
本論ではこれらを一般化し、間をつなげる事ができるsemi-random noiseを提案する。
この一般化されたノイズを用いる事で、初めて非線形分類器に関する頑健性の指標を与えた。
そして頑健性は、分類器が持つ分類境界の曲率に依存している事が分かった。
この曲率で一定の条件を満たしたものはランダムノイズに強い事が分かった。
またsemi-random noiseが張る部分空間へ注目し、その次元を見る事でrandom noiseと敵対的noiseの間を内挿可能な事が分かった。
Improved Techniques for Training GANs, NIPS2016
GANの高性能な学習に有効ないくつかのテクニックを示す。
これらテクニックを利用する事で半教師あり学習においてSOTAを実現できる。
テクニックに１つ目は、feature matchingで、生成モデルは従来の目的関数に加えて実データの統計量もマッチさせるようにする。
２つ目はminibatch discriminationで、判別器は１つ１つのサンプルでなく、バッチに対して一度に評価する。
３つ目はhistorical averagingで、今までの更新ステップで得られた推定パラメータ平均からの現在推定パラメータの乖離度合いを罰則項として加える。
４つ目はone-side label smoothingで、0か1で表現されるラベル情報を.1、.9のようにスムージングをかける。
５つ目はvirtual batch normalizationで、reference batchを学習データから予め設定しておき、それを用いてbatch normalizationを行う。
その他にも生成画像の質、半教師あり学習のためのテクニックも紹介されている。