Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/6b1472d4-ef0b-14f0-cbec-303cd9f4c306.png)

SGM(Semi Global Matching)やBM(Block Matching)などの人間によってチューニングをしたパラメーターをCNNにやらせようというかなり初期に提案された方法を見ていきたいと思う。

新規性

SGMをbaseにしてMatching Costの計算の方法をCNNで行うという手法である。どうやってMatching Costを求めるか見ていきたいと思う

The fast architecture

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/83eb5d1a-074c-8824-71c6-338385f94cfb.png) 1つ目は計算速度の早いネットワークで、Left input patchとRight input patchを入力にCNNで特徴量を畳み込み、内積(Dot Product)の計算をしてSimilarity Score(Matching Score)を出力。右と左の特徴が似ていればSimilarity Scoreは高くなる。

The accurate architecture

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/0a0947f2-971e-c6e9-7438-13c9b998b54f.png) 2つ目はより精度に重点を置いたネットワークで、内積をとるのではなくChannel方向に結合(Concatenate)しFully Connectedを行い最後にsigmoidをする事で0~1にsimilarity scoreを正規化出来る。

単純に内積を出すのではなく特徴を結合する事で、精度があがる.

「なんでやねん！」って思う人がいると思うので、あえて言うなら特徴量1つ1つに重みをつけたりMatchingする特徴の組み合わせによってsimilarity scoreを変化する事が出来るイメージ

結論

・CNNを用いてMatching Costを計算する事が出来る・Concatした方が精度が良い

この手法をPatch(くり抜いた画像の一部)にやるのではなくて、画像全体にやる手法に関して次は見ていきたい！

参考文献

Stereo Matching by Training a Convolutional Neural　Network to Compare Image Patches https://arxiv.org/pdf/1510.05970.pdf