Monocular Depth Estimationの課題
- focal lengthが変わると画像上の物体の大きさが変わる
- camera heightとpitch angleが分からないと、地面を基準にした距離推定が出来ない。
Focal Lengthの対処方
Focal Lengthを仮定したカメラモデル(Virtual Camera)を作り、それに合うようにGround TruthのDepthをFocal Lengthの比でScalingする。
Camera HeightとPitch Angleの対処方
MLP
MLPによってCamera HeightとPitch AngleをDepthのScale Parameterを推定する。
下の公式ではRotation, Translation, Intrinsicの全てをMLPに入力して、2DのFeature MapへのScaling Parameterを推定している。精度が上がったと論文にはあるが、Focal Length単体のScalingから得れる精度向上と比較した方が良い。Extrinsicの情報は精度に寄与していない可能性がある。
Reference
BEVDepth: Acquisition of Reliable Depth for Multi-view 3D Object Detection