【Stereo Depth】GwcNet : Group-wise Correlationで

Group-wise Correlation Stereo Network

Correlationとは右と左の特徴量の相関性の事を良い、内積によって求める事が多い。
しかし、内積を使うと情報を失うというデメリットがあった。
そこでこの論文ではGroup-wise Correlationという方法を提案している。

先行研究の振り返り

Correlation

 右と左のFeatureの内積を取ることでChannel方向の特徴量を1つ(matching cost)にまとめる。 その作業を取り得るすべてのDisparityに対して行う事でCcorr(d,x,y)の3D Feature Map得られる。

Concatenate

 右と左のFeature MapをChannel方向に結合することで右と左の特徴量を失わずに済む。 その作業を取り得るすべてのDisparityに対して行う事でCconcat(d,x,y,2*c)の4D Feature Map得られる。

新規性

Group-wise Correlation

 Correlationは内積を取るのですべての特徴が1つにまとめられてしまう。情報が欠如するから、内積を取るのをNg個のグループに分けて行おう！ Ng = 1の場合 =>Correlationと同じ完全な内積 Ng = Ncの場合 =>特徴量同士の掛け算で、それぞれ足さずに独立のMatching Costとして残しておく

Ngが1に近づくと情報量が減り、NgがNcに近づくと情報量が多くなり後々の計算量が大きくなる

結論

・CorrelationとConcatenationを合体させる事で効率的に学習をする事が出来る。 ・Group-wise-CorrelationをすることでCorrelationのデメリットであった情報の損失を回避することが出来るようになった。

参考文献

Group-wise Correlation Stereo Network https://arxiv.org/pdf/1903.04025.pdf