はじめに
来月開催されるCVPR2018のHP内、main conference
http://cvpr2018.thecvf.com/program/main_conference
の中にsegmentation関係の論文があったので、arXivで検索して読んでみた。
[1]C. Yuらの「Learning a Discriminative Feature Network for Semantic Segmentation」
https://arxiv.org/abs/1804.09337
概要
semantic segmentationは以下２つの問題を抱えている。
１）intra-class inconsistency
同じクラスの物体なのに違うクラスの物体と判断してしまう問題
[1]のFigure 1より
この図の(b)において、左下の領域は同じ牛（緑）の一部にも関わらず、馬（ピンク）と認識されている。
２）inter-class indistinction
異なるクラス間の物体を同じクラスと判断してしまう問題
[1]のFigure 1より
この図の(e)においてパソコンの本体がTV-monitorと認識されている。
作成したモデル
上記２つの問題に対応するため Discriminative Feature Network というものを作った。具体的には以下の２つを含むモデル。
１）intra-class inconsistency の対応策として Smooth Network。
２）inter-class indistinction の対応策として Border Network。
アーキテクチャ
全体像
全体像はこんな感じ。
[1]のFigure 2より
このうち、以下の青い矢印部分に注目すると、
encorde して decordeしてる。それに対してshort cutの経路があるので U-Net等の構造に似ている。
RRB(Refinement Residual Block)ブロック
この中でRRBと書かれてるブロックは以下。
はじめに1x1 convで畳み込む。それを二手に分け、下側の経路ではそのまま流し、上側の経路では3x3conv、BN、Relu、3x3 convで特徴量化。両者を足してReluする。
element wiseで足すのでResNetのResidual Blockのように上側の経路が残差となる。これがより高次の特徴量で、下側の経路は位置的な情報か？
CAB(Channel Attention Block)ブロック
CABと書かれたブロックは以下。
下からより高層から来た広範囲でより高次元なcontextを持ったfeature mapが上がってくる。それが２手に別れて、右側の経路は低層からの情報をelement wiseで足す。
この時に足されたいのは低層のcontextではなく、位置的な情報。よってcontexは崩さないように前の層の情報を変換したい。
その変換するためのユニットが中央のAttention経路。ここで低層と高層の情報をconcatenateしてglobal average poolingでベクトル化し、1x1 conv、relu、1x1 convして、最後はsigmoidをかけて[0,1]の値とする。
これを低層の情報にかけることで、低層のcontextを高層のようなcontextに変換する。
以下はCABの模式図。
Smooth Network
上記全体図の右側。intra-class inconsistencyに対応。U-Net等との比較で述べるとCABにより低い層のcontextが変換されてるので、高い層のcontextが生かされる。
よってより高次でより広範囲な特徴を拾うことができる。
これにより「同じ牛なのに一部が馬」という状況が改善されると期待される。
Boarder Network
上記全体図の左側。inter-class indistinctionに対応。ここの仕組みは次章のfocal lossを使用することでclassとclassとのboarder付近をより明確に判断できるようになる。
Focal Loss
Boarder Networkからの出力に対して以下のlossで学習させる。
FL(p_k) = -(1 - p_k)^\gamma \log{p_k}
$\gamma$が０の時は通常の交差エントロピーとなる。なので交差エントロピーをより一般化したものと考えることもできる。
このlossは以下の論文が元ネタのよう。
[2] T. Lin, et. al"Focal Loss for Dense Object Detection"
https://arxiv.org/abs/1708.02002
このloss関数がどのような形状かはわかりづらいが、論文[2]中のグラフを拝借すると以下のよう。
[2]のFigure 1より
結局$(1-p_k)$より対数部分が効いてきて交差エントロピーのようにはなるが、漸近の仕方が異なる。
$\gamma = 0$の交差エントロピーから$\gamma$を増していけば、値が小さくなる。特に図中のwell-classified examplesと書かれた部分が顕著。
つまりこのfocal lossを使うことで、既に識別性能が得られたピクセル（つまり物体の中央付近？）に関しては効いてこず、識別性能が低いピクセル（つまりボーター付近）に対して効いてくる。
Loss
Loss全体としては、上記のfocal lossに加えて通常の交差エントロピーとなる。
\begin{eqnarray}
l_s &=& SoftmaxLoss(h;w) \\
l_b &=& FocalLoss(y;w) \\
L &=& l_s + \lambda l_b
\end{eqnarray}
focal lossに対する掛け率 $\lambda$ は 0.1 など使う。
実験と結果
使ったデータセット
定番のPascal VOCやCityscapesで実験している。
ベースにしたアーキテクチャ
ImageNetで学習したResNet-101がベース。FCN4のフレームワークを使ってる。
データ水増し
- subtraction
- horizontal flip
- randomly scaling ・・・(0.5倍、0.75倍、1倍、1.5倍、1.75倍）
GAP使ってるのでランダムスケーリングが可能。
各要素の効果
1. random scaleの効果
[1]Table 1より
結構効いてる。これを可能とするGAPを含めて効果あり。
2. RRB、GP、CAB、DSの効果
以下４つ
- RRB:refinement residual block
- GP:global pooling branch
- CAB:channel attention block
- DS:deep supervision
の効果
RRBの効果が大きい。CABの効果は１％くらい
3. border networkの効果
border networkの効果は微妙w。
4. 各層（stage）からの出力画像
[1]Figure 7より
一番左がground truth。その右が低層（stage 1）からの出力。右に行くほど高層を経た出力。
高層にいくほどより全体のcontextを捉えて精度が上がってる。boarderも低層では物体全体というよりは物体のパーツをborderと捉えているが、高層では１つの物体（class）のborderを鮮明に認識している。
他のモデルとの比較
pascal VOCでの比較
DeepLabv3+にも勝ってる。へぇ〜、って感じ。
Cityscapesでの比較
これも微妙にPSPNetを上回ってる。DeepLabv3+は？？
出力画像例
いいとこ取りした可能性はあるが、かなり鮮明に細いところまでsegmentationできてる。
結論
今回提案したDFN（Discriminative Feature Network）はSmooth NetworkとBorder Networkという２つを導入することでいい精度が出た。
個人的感想
Smooth Networkは精度の向上に大いに貢献しているが、Border Networkは１％程度の精度上昇と、頑張った割には効果が低い。
ただ僅差のstate-of-the-artなので、１番取るための最後の１押しとしては絶大な効果、とも言えるね。
ただ半年後にDeepLabv4とか出たら駆逐されそうw。