semantic segmentation (stuff)とinstance segmentation (things)を統合したpanoptic segmentationを提案。
タスクフォーマット
各ピクセルiにsemantic class (l_i)とinstance id (z_i)をマップする:
z_iは同じsemantic classのピクセルを個別のセグメント(segment)にグループする。
曖昧もしくはクラスに属さないピクセルにはvoid labelがアサインできる。（e.g. すべてのピクセルがsemantic labelを持つとは限らない）
semantic classはstuffとthingsに大別される:
かつ
また、stuffではz_iの値は無視される。
Panoptic Quality
panoptic segmentationの評価尺度。
ground truthに対するpredicted panoptic segmentationのqualityを評価する。
1. Segment matching
predicted segmentはground truth segmentに対してintersection over union (IoU)が0.5より大きいときにマッチできる。（注: マッチするにはsemantic classが一致する必要もある）
これはpanoptic segmentationのnon-overlapping propertyな特性と併せてunique matchingを与える。（各ground truth segmentにつき、せいぜい1つのpredicted segmentがマッチする）
2. PQ Computation
次のようにPQをクラスごとに独立して計算し、その平均をとったものを評価値とする。
true positive (TP): マッチしたセグメントのペア
false positive (FP): マッチしなかったpredictedセグメント
false negative (FN): マッチしなかったground truthセグメント
0.5|FP|と0.5|FN|がペナルティとして分母に加えられていて、それを除いたものはマッチしたセグメントのIoUの平均値。
Note: すべてのセグメントはそのエリアに関わらず同じ重要度を持つ。
また、PQは次のようにsegmentation quality(SQ)とrecognition quality(RQ)を掛けたものとみなすこともできる:
