StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/6bc5592b-ea20-aec9-c1a0-232430c2cef3.png)

stereo depthが遅いので早いネットワークを作ろう！って事でStereoNetが提案された。
お〜早いのか。どうやって早くしたんじゃ？

ちなみにGC-Net likeな構成になってる。

新規性

Hierarchical Refinement: Edge-Aware Upsampling

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/0c5685f5-9d5f-5ca8-b9f2-41bb238d1619.png) 低解像度で求めたDisparityを入力画像サイズまでBiliner interpolationしてupsampleする。

このネットワークの入力はUpsampleしたDisparity Mapと入力画像である。そうする事で、物体の境界線などを参照する事が出来、鞣しみたいな効果が得られる。

そもそも最初のDisparityが間違っていればそれを参考に鞣すだけなので精度はあがらない。

結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/1316f4f2-c661-3889-eba1-bdb625804469.png) 0.015sって早っ！

結論

・Refinementを使うことで低解像度(1/4)画像サイズでもそこそこの精度と同時に計算コストを大幅に下げられる。さすがGoogleさｎ!

RefinementするならReconstruction Errorを使った方が良いと思うのだが。

参考文献

StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction https://openaccess.thecvf.com/content_ECCV_2018/papers/Sameh_Khamis_StereoNet_Guided_Hierarchical_ECCV_2018_paper.pdf