Panoptic Segmentation
Semantic Segmentation => すべてのpixelのclassを推定するタスク Instance Segmentation => 物体として認識されたpixelの物体番号(id)を推定するタスク Panoptic Segmentation => pixel毎にclassと物体番号(id)を推定するタスク数えられるクラス(車や人)を Thing クラス
数えられないクラス(空や道)を Stuff クラスとする
評価指標
Segment Matching
Groung TruthとpredictionのIoUが0.5以上だとMatchingしたとみなされる
証明そんなに難しく無いので良かったら読んでみてください。
PQ Computation
間違いをペナルティーとして分母に加える=>scoreが小さくなる
合体させたものをPanoptic Qualityとする
とりあえずこの公式だけ覚えておけば完璧!
変形するとなんとなんと、Segmentation QualityとRecognition Qualityになるじゃないか!
*クラスに振り分けられていないpixel,曖昧なpixelは計算から外す
結論
物体番号とclassを推定するタスクなのねやってみないとイメージ沸かないな
実装したらコード乗っけます!