GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/5e443ef0-9c2d-bfa9-2216-54b6e5078049.png)

今までの推定していたRigid Flow(動かない物体のFlow)に加えて動く物体のFlowも考慮したres flowを推定する事で、最終的な画像全体のFlowを推定する事を提案した。
ついでに、forward(t->t+1) , backward(t+1->t)で両方向から推定することでOptical FlowのConsitency Check Lossを導入した。

アルゴリズム

Rigid Flowとは？

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/09f02055-d1cd-9576-f55f-f5becf70a5ab.png) Rigid FlowはTagetと推定したSouceの対応するpixelの移動量(x,y)で定義されている。物体が動いていないと仮定した時のFlowである。

当たり前だけど、Flowを使えばTarget画像からSource画像を推定できる。

ResFlowとは？

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/5edd00e3-2a5a-2db1-2670-2b806f35231e.png)

full flow = rigid flow + res flow
全体のFlow = 止まっていると仮定した時のFlow + 動いている物体の差分のFlow

Rigid Warp LossとDepth Smoothness LossとFull Warp LossとOptical Flow Smoothness LossとForwar-Backward Consitency Loss

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/edb86633-a697-cbef-a685-ecf2691cfbab.png) Rigid FlowをもちいたRigid Warp LossはSSIM(Sitructure Similarity)とSAD(Sum of Absolute Difference)を計算する事で画像の類似を推定する。

Egdeを考慮したDepth Smoothness Loss

Rigid FlowのLrigと同様にFull FlowのLfullも計算できる。
Depth Smoothと同じようにOptical Flow Smoothness Lfsも計算できる

Forward-Backword Consistency Loss

結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/7cdca1f9-b72a-165e-2a1a-8b5c239cf188.png) Rigid FlowよりFull Flowの方が精度がErrorが小さい事が分かる。

DispFlowNetSよりかなりErrorが小さい事わかる

結論

Full Flowを推定する事で精度が上がる

参考文献

GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose https://arxiv.org/pdf/1803.02276.pdf An Object Context Integrated Network for Joint Learning of Depth and Optical Flow https://www.semanticscholar.org/paper/An-Object-Context-Integrated-Network-for-Joint-of-Zhai-Xiang/dad2adf2774e575e4d33b5cb0d37f38ecbc159ae