The One Hundred Layers Tiramisu Fully Convolutional DenseNets for Semantic Segmentation, CVPR2017
従来のsemantic segmentationモデルはCNNをベースにして作られてきた.
その場合、convolutionを通した粗い特徴抽出と、その後に続くupsamlingに
よる解像度向上によってネットワークは成り立っていた.
またconditional random fieldなどを用いた後処理なども用いた改善も行われる場合がある.
一方で,最近提案されたCNNの一つであるDenseNetは各層が全てfeed forward接続を通して繋がっており,
それにより性能向上が確認出来ている.
本論ではこのDenseNetのアイデアをsegmentationへ適用する事で性能向上可能な事を示した.
Overcoming catastrophic forgetting in neural networks
逐次的な様々な学習を積み重ねていく能力は,汎用AIの作成において重要である.
しかしながらニューラルネットワークを始めとするconnectionistモデルは新たな学習によって
過去の学習が上書きされてしまう事のよる忘却が発生してしまう問題があった.
本論ではその問題に対して,過去の学習において重要な役割を果たしている部分に対する
学習速度を低下させる事で,忘却を抑制する事を可能にした
FCNs in the wild:pixel-level adversarial and constraint-based adaptation
Semantic segmentationモデルとして知られるFCNを用いたdomain adaptationを考える.
Domain adaptationは従来adversarial learningの設定で提案されている.
つまり,sourceとdomainの分類器を騙せるように特徴空間を学習させる正則化を加える.
本論ではこれをsemantic segmentationの文脈に合うよう改良した.
つまり,semanticsに関する空間的特徴を良く含んでいる,upsample前の
最終レイヤーの特徴を用いる事ととなる.
また加えてクラスごとのadaptationも考え,source domainにおけるクラスごとに占めるピクセルの割合を
制約としてtarget domainに対して適用する。