Wider or Deeper: Revisiting the ResNet Model for Visual Recognition
最近のdeepnetの研究トレンドはnetworkをより深くしていく事で性能向上を行う手法になってきている．
しかしながらただ深さを増やす事は必ずしも最適な性能向上手法ではない事が実験的に観測されてきた．
またresnetに対する研究によれば，resnetは浅いネットワークのアンサンブルとして学習されている事が分かっている．
これらの事実をより分析する事で本論では浅い構造を持つresnet構造を提案し，従来手法よりも高性能を実現した．
Image De-raining Using a Conditional Generative Adversarial Network
画像認識において，悪天候下や，質の低い画像はその性能を悪化させる要因である．
そこで，特に悪天候画像に対する手法として悪天候の影響を取り除くderaining/desnowing手法を提案する．
しかし問題はill-posedであり，従来手法ではこれを事前知識を用いてwell-posedな問題へ変換する．
本論では別のアプローチを提案し，GANのフレームワークを用いてde-rainされた画像が現実の雨でない画像と見分けが付かないようにする．
これにより，その後に適用されうる画像認識手法の性能をderainにより低減されないようにする．
UNDERSTANDING DEEP LEARNING REQUIRES RETHINKING GENERALIZATION
その大きさにも関わらず，deep learning手法はtrainとtestデータの間で大きな予測誤差が出てこない．
従来の理解ではそれはモデルの特性や学習時に用いられる正則化手法による物であると考えられてきた．
たくさんの実験が行われてきたにも関わらず，しかしながらなぜ大規模なネットワークが良く一般化されやすいのかについての説明はなされてこなかった．
特に，本論では訓練データにランダムなラベルを与えたとしても，通常のネットワークと学習によって適合する事が可能である事が分かった．
またこの現象は正則化による影響を受けず，また入力画像をただのランダムノイズに変えたとしても有効であった．
この事は，正則化は汎化誤差を改善させるかもしれないが，汎化誤差をコントロールするにあたっては，必要でも十分でもないことを示唆している．