Curricilim Domain Adaptation for Semantic Segmentation of Urban Scenes
CNNはsemantic segmentationのタスクにおいて重要な役割を果たしてきた。
しかしながらそのモデルを学習するためには膨大な量のデータとそのアノテーションが
必要となってしまう。
一方最近は人工的に作成したphoto-realisticな画像を変わりに用いる手法も研究されている。
こうした手法の場合、実際データとの間に生じるdomain gapの解消が課題となってくる。
本論ではこの問題に対してcurriculum learningの手法に則ったdomain gapの解消手法を
提案する。
この手法では学習において、始めに簡単で重要な特性からtarget domainへadaptさせる。
例えばそれは、target domainの画像に関するglobal distributionであったり、
画像内のlandmark super-pixelに関するlocal distributionなどである。
こうした分布はdomainに関わらず都市部において共通点が多いため学習がしやすくなっている。
MapNet: Geometry-Aware Learning of Maps for Camera Localization
visual SLAMなどにおいて地図は画像ベースのlocalizationを
行うに当たって重要である。
しかし地図の定義はapplicationに依存しており、
人手で作られる場合が多い。
本論では、代わりに地図をdeepnetとして構築する
手法を提案する。
このネットワークはMapNetと呼び、
データから地図表現を学習させる事を可能とする。
この手法はGPUと画像情報のみを使ってvisual odometryとの組み合わせ
とともにカメラのlocalizeを行う。
こうした情報から得られる幾何的な制約情報を用いて損失を定義し、ネットワークの学習を
行う事が可能である。
またMapNetはunlabeledなvideo sequenceに対してself-supervisedな手法を用いる事で
ネットワークの更新が可能である。
Neumann Optimizer: A Practical Optimization Algorithm for Deep Neural Networks
deepnetはその学習に長い時間がかかる事が課題である。
単純なハードウエアリソースの拡大は逓減効果があるためスケールしない。
本論では、計算効率を改善させ、さらに高速化させるような、
large batchなstochastic optimizationアルゴリズムを提案する。
この手法は各バッチに対して暗にinverse Hessianを計算する。
これは陽にHessian行列を計算したり、近似したりしない事を意味する。
この事は各ステップにおける勾配計算の際、新たなsub-problemを形成し、
その問題を逆行列に対するNeumann expansionを利用しながら解く事で実現する。