【Mono Depth】SfMLearner++ : epipolar lineの類似度を重みに使う

SfMLearner++: Learning Monocular Depth & Ego-Motion using Meaningful Geometric Constraints

従来研究だとPhotometric Lossを計算する時に、Pose Estaimationが間違っていたら、Depth Estimation正しくても、Lossが大きくなってしまうという課題があった。
そこでその課題を解決するのがこの論文！

新規性

epipolar Costraing weighted Loss

 単純のPhotometric Lossにepipolar lineの類似度の重みを付ける Pose Estimationが正しい=>Epipolar Lineは同じ

そうする事でPose Estimationが上手くいかなかったときのPhotometric Lossを軽減できる。

p’.trans Ep = 0の証明

 EはExtrinsic Matric(2つのカメラ館の回転と移動量)

Pose Estimationが正しければこの値は0になるはず。

p'Ep = 0の証明

 p'・(Txp')は常にゼロとなる(あとで証明する)

Txp'=TxRp(pを回転させてp'と平行なベクターにすれば、Tとの外積は同じのはず)

a・(axb) =0の証明

aベクターとbベクターの外積にaベクターの内積を取ると0になる

外積はaベクターとbベクターの平面に対して垂直にzを取る。
そこに内積をかければ90度なのでいつも0となる。

結果

 Epipolar Constrain weightをPhotometric Lossに導入する事で精度が上がっている

結論

・Pose Estimationが悪さをしない為にEpipolar Lineを確認せよ

参考文献

SfMLearner++: Learning Monocular Depth & Ego-Motion using Meaningful Geometric Constraints https://arxiv.org/pdf/1812.08370.pdf https://www.quora.com/How-do-I-prove-that-a-axb-0