More than 3 years have passed since last update.

【Stereo Depth】左右の特徴量を結合してUnetでDisparityを推定させてみた

Last updated at 2020-12-09Posted at 2020-12-09

背景

Stereo Depthで4D Cost Volume(Disparity,Channel,Height,Width)を作る手法が主流となっているがそれだと遅いんじゃないと思い今回自分で考えたネットワークを学習させてみた。

シンプルに右と左の特徴量をConcatenateしてUnetでDisparityを求めるだけのシンプルなネットワークになっている。

KITTI Datasetを100 epoch Self-SuperviseでTrainingした。Batchはメモリーの都合上1に設定。

run time = 20.9271907806[ms]

![left.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/afe7dfab-84bb-f487-4376-c9cd33751333.png)

![right.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/5e06346f-3483-053f-83bc-bd30894c556a.png)

![disp_left.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/bc9daf49-0f84-636c-f871-50b2f97ed2b0.png)

![disp_right.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/5c4fedf5-aec0-4285-656d-16ee841d94a3.png)

![estLeft.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/84ffcec4-601d-f64e-6115-044467929941.png)

![estRight.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/f2d6aeb1-85cc-4afe-ba77-0c92f241d850.png)

・あんまり結果が良くないですねまだまだ改善の余地ありそうです