Panoptic Segmentation

Semantic Segmentation => すべてのpixelのclassを推定するタスク Instance Segmentation => 物体として認識されたpixelの物体番号(id)を推定するタスク Panoptic Segmentation => pixel毎にclassと物体番号(id)を推定するタスク

数えられるクラス（車や人）を Thing クラス
数えられないクラス（空や道）を Stuff クラスとする

評価指標

Segment Matching

Groung TruthとpredictionのIoUが0.5以上だとMatchingしたとみなされる

証明そんなに難しく無いので良かったら読んでみてください。

PQ Computation

matchしたsegmentのIoUの平均値

間違いをペナルティーとして分母に加える=>scoreが小さくなる

合体させたものをPanoptic Qualityとする
とりあえずこの公式だけ覚えておけば完璧!

変形するとなんとなんと、Segmentation　QualityとRecognition Qualityになるじゃないか！

*クラスに振り分けられていないpixel,曖昧なpixelは計算から外す

結論

物体番号とclassを推定するタスクなのね

やってみないとイメージ沸かないな
実装したらコード乗っけます!

参考文献

Panoptic Segmentation https://arxiv.org/pdf/1801.00868.pdf コンピュータビジョンの最新論文調査 Segmentation 編 https://engineer.dena.com/posts/2019.08/cv-papers-19-segmentation/