【Mono Depth】GeoNet : 動いている物体のOptical Flowも推定

GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose


今までの推定していたRigid Flow(動かない物体のFlow)に加えて動く物体のFlowも考慮したres flowを推定する事で、最終的な画像全体のFlowを推定する事を提案した。
ついでに、forward(t->t+1) , backward(t+1->t)で両方向から推定することでOptical FlowのConsitency Check Lossを導入した。

アルゴリズム

Rigid Flowとは？

 Rigid FlowはTagetと推定したSouceの対応するpixelの移動量(x,y)で定義されている。 物体が動いていないと仮定した時のFlowである。

当たり前だけど、Flowを使えばTarget画像からSource画像を推定できる。

ResFlowとは？


full flow = rigid flow + res flow
全体のFlow = 止まっていると仮定した時のFlow + 動いている物体の差分のFlow

Rigid Warp LossとDepth Smoothness LossとFull Warp LossとOptical Flow Smoothness LossとForwar-Backward Consitency Loss

 Rigid FlowをもちいたRigid Warp LossはSSIM(Sitructure Similarity)とSAD(Sum of Absolute Difference)を計算 する事で画像の類似を推定する。

Egdeを考慮したDepth Smoothness Loss

Rigid FlowのLrigと同様にFull FlowのLfullも計算できる。
Depth Smoothと同じようにOptical Flow Smoothness Lfsも計算できる

Forward-Backword Consistency Loss

結果

 Rigid FlowよりFull Flowの方が精度がErrorが小さい事が分かる。

DispFlowNetSよりかなりErrorが小さい事わかる

結論

Full Flowを推定する事で精度が上がる

参考文献

GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose https://arxiv.org/pdf/1803.02276.pdf An Object Context Integrated Network for Joint Learning of Depth and Optical Flow https://www.semanticscholar.org/paper/An-Object-Context-Integrated-Network-for-Joint-of-Zhai-Xiang/dad2adf2774e575e4d33b5cb0d37f38ecbc159ae