Panoptic Feature Pyramid Networks

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/a151327e-0e75-8e84-37fb-2c31d5dc78c9.png)

Panoptic SegmentationにFPN(Feature Pyramid Network)を使用してみたという論文である

新規性

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/47fcaab8-2d1d-5835-29bb-3b6d3f67f766.png)

PanopticでFPNを使ってみた

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/1f1dc613-449c-8b55-5fb7-838412f036a6.png) 3解像度の出力それぞれから得たROI(物体がありそうなエリア)すべてに対してSemantic Segmentationをする事でInstance Segmentationを行っている。

3解像度の特徴量を全部足したFeature Map(黒いやつ)を使ってSemantic Segmentationを行う

FPNの効率性の実験

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/bfd52510-e9a6-88bb-ebae-b4ee688d0a2d.png)

(b)(c)(d)が1/8の解像度で出力する時に良い結果を出せるモデルの代表例。

掛け算足し算の数(左図)とメモリの消費量(右図)を比べてみるとFPNが一番計算量が小さくてメモリの使用量が少ないのが分かる。

結論

・Dilated / Symmetric Decoder よりFPNが一番計算コストとメモリコストが小さくお得

いろんな論文にFPNが使われているのも頷ける

参考文献

Panoptic Feature Pyramid Networks https://arxiv.org/pdf/1901.02446.pdf