セグメンテーションを広角のカメラで実施するには、魚眼カメラを用いるという選択肢がある。
現状、ステレオカメラにしても、ToFカメラにしても視野角は魚眼カメラの視野におよぶことはない。
広い視野の中で、対象物への理解を深めようとしたら、セグメンテーションはその重要な手法の１つだ。
注意
- 魚眼も投影方式によって画像の見え方が違う。
- 車載を想定した前方カメラでも、点の高さによって画像の見え方が違う。
- 車載を想定した前方カメラでも、視野の中心の仰角もしくは俯角によって画像の見え方が違う。
そのため、ある学習済みモデルが、あなたのユースケースでの魚眼カメラ画像で精度がでるかは不明です。
それぞれのモデルの学習に使っているカメラの投影方式を調べて、それと同じ投影方式のレンズを使うと、既存のモデルが使える可能性が高まります。
RotInvMTL: Rotation Invariant MultiNet on Fisheye Images for AutonomousDriving Applications
A comparative study of semantic segmentation of omnidirectional images from a motorcycle perspective
pdf Real-Time Semantic Segmentation for Fisheye Urban Driving Images Based on ERFNet
CVPR2023 pdf FishDreamer: Towards Fisheye Semantic Completion via Unfied Image Outpainting and Segmentation
魚眼カメラの周辺部の外挿をする方法らしい。
github FishDreamer
ECCV 2018 pdf Semantic Segmentation of Fisheye Images
CVPR 2021 pdf Woodscape Fisheye Semantic Segmentation for Autonomous Driving — CVPR 2021 OmniCV Workshop Challenge
WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving
github https://github.com/valeoai/WoodScape
WoodScapeデータセットである。
Fisheye Segmentation
pdf Universal Semantic Segmentation for Fisheye Urban Driving Images