Theoretical Comparisons of Positive-Unlabeled Learning against Positive-Negative Learning, NIPS2016
Positive unlabeled (PU) learningはPositive Negative label双方がある通常の分類問題と違って、Negativeラベルのない場合における分類学習である。
この時、特定のケースにおいて、PU learningにより得たモデルが、通常のNegativeラベルも利用して得たモデルよりも良い性能を出す事がある。
本論では、推論誤差の上界を分析する事によりNegativeラベルありなしの場合の間における違いを理論的に解析した。
そしてラベルなしデータが無限に与えられている場合においてPU設定が性能で勝る事を証明とともに見つけ出した。
Homotopy Smoothing for Non-Smooth Problems with Lower Complexity than O(1/epsilon), NIPS2016
最大値を取る関数の構造を持つnon-smoothな項と、smoothな項あるいはnon-smoothだが簡単でproximal mapping式が計算可能な項、で成り立つnon-smoothな問題を解く手法としてHOPSを提案する。
HOPSは最適解周りのsharpnessを利用する事で、従来よりも良い収束性能を実現できる。
HOPSはNesterovのsmoothing technic及びaccelerated gradient methodを用い、また段階的にsmoothingパラメータを減らしていく事でより良い近似解を獲得可能にする。
Learning Kernels with Random Features, NIPS2016
確率的な特徴はkernel machineを近似するために計算効率の良い方法を与える。
この手法は従来のカーネル法で利用されるimplicitな特徴変換ではなく、explicitな特徴変換を考え、その上で確率的なアプローチを取る事で高速なkernel machineの近似を可能にした。
しかしながらこの手法を成功させるためには事前にカーネル関数を適切に決定しておく必要があった。
本論ではこのカーネル関数決定も学習により実現可能な手法を提案する。
この学習は教師あり問題において利用できる。
この学習により最適化されたカーネル関数を利用して得られる推定器の汎化誤差のboundを、そのカーネル関数の確率的特徴とのconsistencyとともに示した。