機械学習論文読みメモ_160
Towards Understanding the Role of Over-Parameterization in Generalization of Neural Networks
従来のnorms, margin, sharpnessといった複雑性指標では、なぜDNNがover-parameterizationによって汎化性能が改善されるのかを説明出来てこなかった。
本論ではDNNのcapacityを測る指標を提案し、よりtightなgeneralization boundを実現する。
このboundを求めるにあたってはover-parameterizationが観測可能かつ簡単な構造として
２層のReLUを利用した。
その構造において、隠れ層の各ニューロン毎に対して複雑性を評価し、その組み合わせとして
Rademacher complexityに基づいた汎化性能のboundを導出する。
この指標を用いると、隠れ層のニューロン数を増やすに連れDNNの複雑性が低減する事が示され、
つまりover-parameterizatioによって汎化性能が改善する事が示された。
Digging Into Self-Supervised Monocular Depth Estimation
depth estimationタスクにおいて、画像に対する深さ情報のコストが高いため、
最近はreconstruction errorを用いたself-supervisedな手法が注目されてきている。
こうした手法のためのネットワーク構造が多く提案してきたが、
それらのテスト性能は予想外な事がある。
例えばステレオカメラを用いたself-suprevisionの利用は、データ調達コストが高く
スケールしにくいが、スケールさせられるモノカメラベースのものより、テスト性能が安定しやすい。
このような直感に反する結果はその他のネットワーク構造、損失関数、motion handlingなどの
多方面で見受けられる。
このような観測に基づいて、本論では新たなネットワークを提案し、その他のself-supervision手法
よりも高性能を実現した。
提案ネットワークはモノカメラベースの学習を採用する。
その際depth estimatorに加えて必要となるpose estimatorがあるが、
それらの間でパラメータを共有する。
To Trust Or Not To Trust A Classifier
分類器の予測が信頼に値するかどうかを知る事はsafety面で非常に重要である。
従来手法は予測機のconfidence measureを用いる事だが、本論ではそれより
性能の良い指標を提案する。
提案するtrust score指標は、分類器と修正されたkNN分類器との間の予測結果に関する同意レベル
を評価する。
従来のconfidence measureと比較するとこの指標は経験的により高い精度を持って
予測結果の信頼度を評価できる。