概要

Fully Convolutional Networkを理解してsemantic segmentationを理解してみる

Base Network

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/ba1f76c7-855b-4014-56cf-c3304cf50218.png)

図からみて分かるようにFCNはConvolutionのみを行い最終的にupsample(interpolation)する。
よって出力のsemantic mapの解像度は低くなる

改善

前の情報を足し合わせる事で精度を上げている

FC-32s
1列目はconv7の結果を32倍upsampleしてsegmentation mapを得る

FC-16s
2列目はconv7の結果を2倍upsampleしたものとpool4の結果を足し合わせて、16倍upsampleしてsegmentation mapを得る

FC-8s
3列目はconv7の結果を4倍upsampleしたものとpool4の結果を2倍upsampleしたものとpool3の結果を足し合わせてたものに、8倍upsampleしてsegmentation mapを得る

結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/cade2d72-cd3a-5397-5ef5-5f63932b33de.png)

図から見てわかるようにFC-32s->FC-16s->FC-8sになるに連れて精度が上がっている事が分かる。

FCNの特徴はDecordしない所かな！

参考文献

Fully Convolutional Networks for Semantic Segmentation https://arxiv.org/pdf/1605.06211.pdf https://github.com/wkentaro/pytorch-fcn/blob/master/torchfcn/models/fcn8s.py