1．記事の概要

本記事は下記画像認識に関連するものである。
記載している内容についてはweb上での使用を想定しているためjavascriptを使用した。

xxxxxxxxxx

2.ポケモン対戦画像からアイコン位置を特定する

課題については上記記事にて記載しているとおり、
ポケモンの対戦画面からポケモンのアイコンを抽出する際、
背景色が存在するとRGBなどの色による特徴量を用いた場合、
背景色と同じ色の要素を持つポケモンのアイコンがマッチングしてしまう。

例えば以下の画像に対してテンプレートマッチングを行った場合、

中央付近の緑の部分にて、アイコンが緑色のポケモンとのマッチング結果が高くなってしまう。
例えば、キャタピーなどがあげられる。

キャタピーは自身の色が背景色に似ていることに加えて、
サイズが小さいことで、テンプレートマッチングにおいて
モデル画像をスライドさせて調べる回数が多く、領域を細かく調べるため
色が似ている背景色のみの領域で特徴量が高くなってしまう。

この課題に対しては以下の解決方法がある
1. 背景色の除去
2. 背景色の多い領域の探索禁止

背景色の除去

背景色の除去方法についてはいろいろある。
例えば、動画を対象としているのであれば、
フレームごとに変化しているピクセルを判定して動いていない部分を
背景とする方法がある(前景処理)。

今回の場合、対象は静画であるため、上記は使えない。
静画についての背景の除去方法として
- HSV空間上での色除去
- レイヤー処理による色除去
を考えた

HSV空間上での色除去

HSVは色相(Hue)、彩度(Saturation)、輝度(Value)から構成される色空間である。

本来画像を取り込んだ際、RGB空間上で処理するが、
色を抜き取る際はこちらのほうが使い勝手が良いと考えた。

RGB空間で取り込んだ画像をHSV空間上に変換し、
あるHSV範囲のピクセルをすべて黒色に変換した画像は以下の通り。

これにより背景色である緑色を除去でき、テンプレートマッチングしやすいものとなる。

問題点としてアイコン画像で背景色と同じ緑色を使用している場合
アイコン画像部分がボロボロになり、判定できない。

ここで左上のアイコン画像(サーナイト)が緑色を含んいたため、
画像としてはボロボロとなってしまった。

レイヤー処理による色除去

次に微粒取り出しによる背景除去を考えた
詳しい説明はGIMPのレイヤー処理を参考にしてほしい。

微粒取り出しモードはレイヤーから「フィルム粒子」を抽出して純粒子からなる新たなレイヤーを生成するものらしいのですが、エンボス加工を施したような画像にする目的にも適います。上側のレイヤーの画素の値を下側のレイヤーの同じ位置の画素の値から引き、 128 を加えます。
等式はつぎのとおり。
式8.13 レイヤーモード「微粒取り出し」の等式
E=I-M+128
(ある画素の色 E 、上に重ねたマスクのその位置の画素の色 M 、同じ位置の下側にあるレイヤーの画素の色 I )

この微粒取り出し処理により背景を単一色にすることでここからHSV除去により先ほどよりはきれいに背景色を
抜くことができると考えた