More than 3 years have passed since last update.

【StereoDepth】CRL : stereo matchingでもtwo stageネットワーク

Last updated at 2020-10-25Posted at 2020-10-17

Cascade Residual Learning: A Two-stage Convolutional Neural Network for Stereo Matching

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/055f5c40-5f97-e306-23ec-19853bc3fcf8.png)

Stereo Matchingでもtwo-stage Networkの方がone-stageより精度が高い！

DipFullNet

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/92b5e100-dfab-7b8b-e0f8-0ff9b09f2b94.png) DispFullNetは[FlowNetC](https://arxiv.org/pdf/1612.01925.pdf)をHalf ResolutionではなくFull Resolution(入力と同じ解像度)でoutputするように改良したモデル。入力はLeft ImageとRight Imageで出力がFull ResolutionのDisparity Mapとなる。

DispResNet

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/b3a4478c-19b4-6ba4-e643-7c3feac8bb6b.png) IR(右の画像)とd1を使いIL'(左の推定した画像)を作る。 IL(左の画像)とIL'を使いeL(推定のエラー)を計算する。それらをDispReNetに入力し、d1をdownsampleしたものとr2(s)を足し合わせる事でd2(s)を推定する。

これをFull Resolutionまで計算し、最終結果d2(0)を出力する。

結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/3c8f4ea2-ee1b-f51a-af02-14f6b3994cfa.png) two-stageのCRLは他のネットワークより詳細を学習出来ている。

参考文献

Cascade Residual Learning: A Two-stage Convolutional Neural Network for Stereo Matching https://arxiv.org/pdf/1708.09204.pdf

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up