Pythonでテンプレートマッチングをして遊んでみた

Pythonで画像認識で色々試していた時に、ポケモンの識別ができたら面白いなと思い勉強がてら実装してみました。

仕様

ディレクトリ構造は以下です。

pokemonPython/
    ├── pokemonImages/
    │   ├── カイリュー.jpg
    │   ├── サザンドラ.jpg
    │   ├── シビルドン.jpg
    │   ├── テツノツツミ.jpg
    │   ├── デリバード.jpg
    │   └── バンギラス.jpg
    ├── importImage.jpg
    └── template.py

importImage.jpgとpokemonImagesフォルダの中の画像たちを比較して同じポケモンのファイル名を出力します。

取り込んだポケモンの画像からポケモンの名前を取得したい！とかいう処理に使えるかなと思います。

pokemonImagesフォルダの中に比較対象のポケモンの画像を入れていけば比較できるポケモンを増やせます。

ちなみに想定としては、ゲームに登場したポケモンの名前を知りたい時に使います。
なのでpokemonImagesフォルダの中には、PokemonHOMEから取ってきました。

ファイル名	ポケモン画像
カイリュー.jpg
サザンドラ.jpg
シビルドン.jpg
テツノツツミ.jpg
デリバード.jpg
バンギラス.jpg

実際に動かしてみよう

以下のコードを使って比較したいと思います。

ゲーム画面からポケモンのアイコンを撮影したものを比較します。
↓こんな感じ(importImage.jpg)

template.py

import cv2
import os

TARGET_FILE = 'importImage.jpg'
IMG_DIR = os.path.abspath(os.path.dirname(__file__)) + '/pokemonImages/'
IMG_SIZE = (200, 200)

target_img_path = TARGET_FILE
target_img = cv2.imread(target_img_path, cv2.IMREAD_GRAYSCALE)
target_img = cv2.resize(target_img, IMG_SIZE)

bf = cv2.BFMatcher(cv2.NORM_HAMMING)
detector = cv2.AKAZE_create()
(target_kp, target_des) = detector.detectAndCompute(target_img, None)

files = os.listdir(IMG_DIR)
rets = []
filesMap = {}
for file in files:
    if file == '.DS_Store' or file == TARGET_FILE:
        continue

    comparing_img_path = IMG_DIR + file
    try:
        comparing_img = cv2.imread(comparing_img_path, cv2.IMREAD_GRAYSCALE)
        comparing_img = cv2.resize(comparing_img, IMG_SIZE)
        (comparing_kp, comparing_des) = detector.detectAndCompute(comparing_img, None)
        matches = bf.match(target_des, comparing_des)
        dist = [m.distance for m in matches]
        ret = sum(dist) / len(dist)
    except cv2.error:
        ret = 100000

    rets.append(ret)
    filesMap[ret] = file
    print(file, ret)

print(filesMap[min(rets)])

さあ実行してみます！

ターミナル

[pokemonPython(main)] $ Python3 template.py

結果

バンギラス.jpg 109.13300492610837
テツノツツミ.jpg 138.04926108374383
サザンドラ.jpg 142.66995073891624
カイリュー.jpg 133.2167487684729
デリバード.jpg 135.935960591133
シビルドン.jpg 135.72413793103448
バンギラス.jpg

importImage.jpgとpokemonImagesフォルダの中の画像たちを一つずつ比較して類似度のような数値を算出しています。
この数値が一番低い画像がimportImage.jpgと一番近い画像になります。

なので一番低い画像だった画像名を取得すればポケモン名が取得できますね。

今回だとバンギラスが一番近い画像として表示されているので成功です！

精度

算出する精度ですが、似ているポケモンで試してみます。

ファイル名	ポケモン画像
テツノツツミ.jpg
デリバード.jpg

最新作から登場した「テツノツツミ」というポケモンですが、デリバードに酷似しています。
どうやらテツノツツミはデリバードの未来の姿だという知見がどこかのオカルト雑誌に載っているらしい。。。

すごく似ているので実際ゲーム画面でもぱっと見で見間違えたりします。。。

Pythonさんはどうでしょうか。
importImageをテツノツツミに変えて実行してみます。（ゲーム画面を写真で撮ったら画質が大変なことに）

結果

バンギラス.jpg 133.12389380530973
テツノツツミ.jpg 104.02654867256638
サザンドラ.jpg 138.64601769911505
カイリュー.jpg 130.8230088495575
デリバード.jpg 132.63716814159292
シビルドン.jpg 133.5929203539823
テツノツツミ.jpg

しっかりとテツノツツミが表示されました。

importImageをデリバードに変えてみると

結果

バンギラス.jpg 129.88695652173914
テツノツツミ.jpg 132.90434782608696
サザンドラ.jpg 139.44347826086957
カイリュー.jpg 132.18260869565216
デリバード.jpg 89.74782608695652
シビルドン.jpg 133.8521739130435
デリバード.jpg

しっかりとデリバードが表示されました。
意外と算出した数値に差がありましたね。

この二匹の比較がうまくいけば、今作は全ポケモン対応できそうですね！

以上、Pythonとポケモンで遊んでみた！でした。