UPSNet: A Unified Panoptic Segmentation Network

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/6402b12d-f10b-b875-88a4-9ed421ba5b50.png)

Panoptic + FPNの構成のSemantic FPNについて前回解説したので、それ以外の所に触れていきたいと思う

Unknownクラスの推定が出来るらしい。

新規性

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/e5bde5c2-9d9a-f7ad-1bd6-1a887bce502f.png) Panotic Head以外は過去に既に研究されているので飛ばします。

Unknown Prediction

間違ったclassification(定義していないclassの物体など)をするよりunkown classとして振り分けた方が良いのではないかという主張。

例)歩行者を自転車として検出した場合
歩行者の検出漏れ(FN)が1増える
自転車の誤検出(FP)が1増える

FPまたはFNが増えるとRQが悪くなってしまう。
1つ間違えるとダブルで精度が落ちるのが良くないそうです。

この問題を解決する為にUnknow Classを推定します。

Unknowとして検出されると検出漏れ(FN)の物体が1増えてるが、誤検知(FP)の数が増えずに済む。やった〜〜!

Yi: instance iのinstance segmentationの結果
Xthing :数えられるクラスに分類されたsemantic segmentationの結果
Xstuff :数えられないクラスに分類されたsemantic segmentationの結果
Xmaski :Xthingの中のinstance iのROIに対応するもの(赤の点線)

とりあえず紫で囲ったUnknow Predictionの流れだけ理解出来ればokayです。
Zunknown = max (Xthing) − max (Xmask)
Xmask :Xmaskiをチャネル方向に結合(検出物体数xClass数 ,H,W)

例)
max(Xthing)で車が2台検出されていて、max(Xmask)で車が1台しか検出されなかった。
すなわち、Instance Segmentationで物体の検出漏れの可能性が高い

結論

・Unknowクラスを推定する事で間違ったClass推定によってPQを下げすぎずに済む。

あんまり深く考えると分からなくなっていくので、使い慣れていきたいと思います！

参考文献

UPSNet: A Unified Panoptic Segmentation Network https://arxiv.org/pdf/1901.03784.pdf