R-CNNで使われている、Selective Searchについてどうやってpixelをclusteringしてるのか気になったのでまとめてみた。

Selective Searchとは

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/c06dd079-705b-8b7e-92d8-3e1731ab68a1.png) 類似した特徴を持ったpixelをクラスタングする事で、物体のpixelが分かる。 R-CNNなどではクラスタリングしたpixelの最小のBounding Boxを描くことで物体エリアを提示する。

特徴量

color similarity

r => 任意のピクセル
c => ヒストグラムのビン
Texture Similarity
SIFT(Scale Invariant Feature Transform)
size Similarity

一つのclusterが大きくなりすぎないように、小さい物体ほどSimilarityを高く設定する。Similarityというより (1-cost)のイメージ
両方のclusterのサイズが1pixelであればSimilarityはほぼ1になる
両方のclusterのサイズの合計が大きい場合、Similarityは0に近づく
Fitness Feature

Sfill = 1 - 2つのclusterの間にどれだけのスペースがあるか
2つのClusterが隣接していればSimilarityは1に近づき
2つのClusterが離れていればSimilarityは0に近づく

最終的なSimilarity Scoreは重み付けした合計値で求める

参考文献

第29回関東CV勉強会でSelective Search for Object Recognitionを紹介してきました https://daily.belltail.jp/?p=1981 ディープラーニングにおける様々な物体領域検出のアプローチ方法(R-CNN) https://qiita.com/t-hiroyoshi/items/e9def50ba2c2249db04b Selective Search for Object Recognition https://arthurdouillard.com/post/selective-search/ 画像処理の数式を見て石になった時のための、金の針 https://qiita.com/icoxfog417/items/adbbf445d357c924b8fc Selective Search for Object Recognition http://www.huppelen.nl/publications/selectiveSearchDraft.pdf