Curriculum Domain Adaptation for Semantic Segmentation of Urban Scenes
Semantic segmentationにおいてCNNはメインに使われてきた手法である。
一方その学習には膨大なデータが必要な事かボトルネックになっている。
Photo realisticな人工データの利用の研究も進んでいるが、未だ実際の画像とのdomain gapが
大きい。
本論ではこのdomain gapを埋めるための手法としてcurriculum learningを適用した手法を提案する。
このcurriculum domain adaptationでは、まず最初は簡単で基本的な部分に対するadaptationをtarget domainに
対して行う。
このタスクは例えばglobal label distributionや各ランドマークのsuperpixelの分布の一致などである。
こうした分布はdomain毎に明らかな特徴としてあり、推定も難しくない。
こうした特徴を考慮したdomain adaptationを行う事でdomain gapのより最小化を行う事が可能になる。
Photographic Image Synthesis with Cascaded Refinement Networks
Semantic layoutに条件付けされたrealistic画像の生成方法について提案する。
このタスクではsemantic segmentationのラベル画像を入力として、それを反映した
現実的な画像を生成する。
この手法は他の関連手法と異なり、adversarial trainingを行わない。
代わりに直接的な回帰対象を与えfeedforward networkにより教師あり学習を行う。
この手法は高解像度画像にも適用する事が可能である。
Toward Geometric Deep SLAM
２つのCNNから成り立つpoint tracking systemを提案する。
１つめはMagicPointと呼ばれ、画像を入力としてそのsalient pointを抽出する。
抽出されたpointは画像全体に分布し、かつ孤立しているため、SLAM用途に利用可能である。
このモデルを用いる事で、画像にノイズがある際特に従来手法よりも遥かに高性能を実現出来る。
またこうしたpointが幾何的にstableである場合には、そのtransformationの推定はより簡単になる。
このMagicPointにより抽出された点に対して、２つめのモデルであるMagicWarpを用いて
transformも行う事、画像間のマッチングを可能にする。
このモデルは従来手法と違いlocal point descriptorを必要としないのが特徴である。