Real-time self-adaptive deep stereo

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/b4b6faee-1102-9bb6-c966-0704004f92b8.png) この論文のメインのオンラインアダプションは無視して、ネットワークの構造だけを見ていきたいと思う。

新規性

Feature Extraction

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/89f00de5-9eb4-6a3a-8539-6f03d0404e9d.png) 右と左の特徴量をそれぞれ同じネットワークで抽出する。

Disparity Estimation at resolution n

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/a08837c7-1bcc-f950-6588-cba5390ffa54.png) 一つ前のDisparityに対して右の特徴量をwarpする事でCost Volumeを作り、Concat(結合)する事で新しいDisparityを推定する。

ただし一番低解像度のDisparityを推定する場合は前のDisparityがないので、Correlation Layer(内積でSimilarityを計算する方法)によって最初のDisparityを推定する

Residual Refinement Network

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/c6df1bd4-ba92-0fbb-26a8-d0716b100373.png) 画像の鞣しやEdgeの補正などを差分を計算する

結論

・低解像度から徐々にrefinementしていく方法は有効だと思うが、最初のDisparityが大きく間違った場合修正出来ないのではないかと思った。・39FPSとPSMNetの2.4FPSと比べてかなり速い！

参考文献

Real-time self-adaptive deep stereo https://arxiv.org/pdf/1810.05424.pdf