0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

【StereoDepth】PDS : SoftArgMinに代わるDisparity推定

Last updated at Posted at 2020-10-21

Practical Deep Stereo (PDS): Toward applications-friendly deep stereo matching

従来のDeepLearning baseにしたStereo MatchingではSoftArgMinが使われていた。

しかし、従来のSoftArgMinを使ってDisprityを求める場合に弊害が2つある

・お互いに離れた値のDisparityでMatching Costが高い場合、中途半端な位置にDisparityを推定してしまう。
・再トレーニングせずにモデルをより大きな視差範囲に適用したい場合は、推定精度が悪化する可能性がある。

これらを解消する為に
inference => Sub-pixel MAP
training => Sub-pixel cross-entropy
の2つを提案する。

SoftArgMin VS Sub-pixel MAP(maximum a posteriori)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/21a0be30-3123-6d0a-783c-783ede43ac5f.png)

SoftArgMinは0~MaxDisparityまでのすべての値を考慮しているので中途半端な推定をすることがある。
それに対してSub-pixel MAPは最大値の近辺のみを見てDisparityを推定するので他のMatching Costが高い所に影響されずにDisparityを推定できる。

image.png
d^がすべてのDisparityの中でProbabilityが最大時のDisparity。
d~がd^から+-δの範囲でSoftArgMinを行う。

δは4に設定されている

*PはSoftMaxにより正規化されている。

L1 Loss VS Sub-pixel cross-entropy

image.png
普通にCross Entropy Lossを計算する。従来の方法では一つのDisparityの出力に対してLossを計算していたのに対して、全部のDisparityにおけるProbabilityの値をGround Truthからの距離を元にLossを計算している。
*PはSoftMaxにより正規化されている。

image.png
Qgt(d)はLaplacian分布を表している。

image.png

図のようにLaplace DistribuionがQgt(d)の式によって表されている。

結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/e9ccd55f-e3c8-66fb-6e64-fb0ce7935c73.png) Sub-Pix CrossEntropy LossはL1 Lossより早く収束しているらしい。

結論

Sub-pixel MAPを使う事で精度良く、様々な画像サイズの入力に対応出来るようになった。 Sub-pixel cross-entropyは全体のDisparityに対してLossを計算するのは面白いと思ったが、DisparityのGround Truthが必要という事はUn-Supervised Learningが出来なくなるので、汎用性は低いと感じた。

それとSub-pixel MAPをTrainingに使えたら面白いなと感じたので、実際に試してみたいと思う。

参考文献

Practical Deep Stereo (PDS): Toward applications-friendly deep stereo matching https://arxiv.org/pdf/1806.01677.pdf
0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?