UPSNet: A Unified Panoptic Segmentation Network
Panoptic + FPNの構成のSemantic FPNについて前回解説したので、それ以外の所に触れていきたいと思う
Unknownクラスの推定が出来るらしい。
新規性
 Panotic Head以外は過去に既に研究されているので飛ばします。Unknown Prediction
間違ったclassification(定義していないclassの物体など)をするよりunkown classとして振り分けた方が良いのではないかという主張。
例)歩行者を自転車として検出した場合
歩行者の検出漏れ(FN)が1増える
自転車の誤検出(FP)が1増える
FPまたはFNが増えるとRQが悪くなってしまう。
1つ間違えるとダブルで精度が落ちるのが良くないそうです。
この問題を解決する為にUnknow Classを推定します。
Unknowとして検出されると検出漏れ(FN)の物体が1増えてるが、誤検知(FP)の数が増えずに済む。やった〜〜!
Yi: instance iのinstance segmentationの結果
Xthing :数えられるクラスに分類されたsemantic segmentationの結果
Xstuff :数えられないクラスに分類されたsemantic segmentationの結果
Xmaski :Xthingの中のinstance iのROIに対応するもの(赤の点線)
とりあえず紫で囲ったUnknow Predictionの流れだけ理解出来ればokayです。
Zunknown = max (Xthing) − max (Xmask)
Xmask :Xmaskiをチャネル方向に結合(検出物体数xClass数 ,H,W)
例)
max(Xthing)で車が2台検出されていて、max(Xmask)で車が1台しか検出されなかった。
すなわち、Instance Segmentationで物体の検出漏れの可能性が高い
結論
・Unknowクラスを推定する事で間違ったClass推定によってPQを下げすぎずに済む。あんまり深く考えると分からなくなっていくので、使い慣れていきたいと思います！