【物体検出】Selective Searchについて調べた結果

R-CNNで使われている、Selective Searchについてどうやってpixelをclusteringしてるのか気になったのでまとめてみた。

Selective Searchとは

 類似した特徴を持ったpixelをクラスタングする事で、物体のpixelが分かる。 R-CNNなどではクラスタリングしたpixelの最小のBounding Boxを描くことで物体エリアを提示する。

特徴量

1. color similarity
   
   r => 任意のピクセル
   c => ヒストグラムのビン

2. Texture Similarity
   SIFT(Scale Invariant Feature Transform)

3. size Similarity
   
   一つのclusterが大きくなりすぎないように、小さい物体ほどSimilarityを高く設定する。Similarityというより (1-cost)のイメージ
   両方のclusterのサイズが1pixelであればSimilarityはほぼ1になる
   両方のclusterのサイズの合計が大きい場合、Similarityは0に近づく

4. Fitness Feature
   
   Sfill = 1 - 2つのclusterの間にどれだけのスペースがあるか
   2つのClusterが隣接していればSimilarityは1に近づき
   2つのClusterが離れていればSimilarityは0に近づく

最終的なSimilarity Scoreは重み付けした合計値で求める

参考文献

第29回関東CV勉強会でSelective Search for Object Recognitionを紹介してきました https://daily.belltail.jp/?p=1981 ディープラーニングにおける様々な物体領域検出のアプローチ方法(R-CNN) https://qiita.com/t-hiroyoshi/items/e9def50ba2c2249db04b Selective Search for Object Recognition https://arthurdouillard.com/post/selective-search/ 画像処理の数式を見て石になった時のための、金の針 https://qiita.com/icoxfog417/items/adbbf445d357c924b8fc Selective Search for Object Recognition http://www.huppelen.nl/publications/selectiveSearchDraft.pdf