【Instance Segmentation】MaskRCNN : Instance Segmentationの基礎

概要


Semantic Segmentationは知ってるけど、Instance Segmentationの仕組みがわからない。どうやって物体毎に分類するんじゃ？
てことでMaskRCNNをもう一度調べてみた。

使ったコードのリンク貼っておきます
https://github.com/yokosyun/instance-segmentation

semantic segmentaionについて知りたい方はこちら
https://qiita.com/minh33/items/6e42041dd5108d5fc2f0
https://qiita.com/minh33/items/d800394f480b2d6eef33

Instance Segmentation(MaskRCNNの場合)


RPNで推定されたBoundingBoxのエリアに対してのみsemantic segmentationする
＝Instance Segmentation

めっちゃシンプル！

結果

personとしてsegmentationされているpixelがBoundingBoxの中にしか無いのが分かる。(実際はこのBBoxは補正された後のBBox)

結論

RPNで推定されたBBoxのエリア内にてSemantic Segmentationをする。

参考文献

Mask R-CNN https://arxiv.org/pdf/1703.06870.pdf https://github.com/Okery/PyTorch-Simple-MaskRCNN Mask R-CNN https://www.slideshare.net/windmdk/mask-rcnn