１．記事の内容

この記事では、ポケットモンスター(以下ポケモン)での対戦における課題の1つである
ポケモン対戦画面よりポケモンの自動判別について記載する。

目的としては、ポケモンにおけるこの課題を知ってもらい、
画像認識に関係している方々に意見をもらうことである。
※ちなみにわたくしは画像認識については門外漢であり、独学中。

また最近になって同志が増え始めたため、この記事を記載した。

xxxxxxxxxx

見せ合い画面でのアイコン判定機です。偽トロキャプチャとかで取り込んだ画面に対してしか使えないと思いますが、使える人は試してみてください。判定を行ったパーティの画像は勝手に保存されるので集まったら欲しいです（願望）。https://t.co/53CsRWBt9l pic.twitter.com/DusVSCtGKo
— kiyo㌠ (@hrs1985) 2017年3月7日

ポケモンの選出画面の写メから、そこに写っているポケモンを検出するwebアプリを作りました！まだ試行錯誤段階で検出精度は5割程度ですが、データ収集のためにも使ってくださる方を募集しています。https://t.co/UAGAQECvc5 pic.twitter.com/ylF2DM96Ts
— おだんぽよ (@poke_odan) 2017年3月6日

技術的な記事についても次記事以降に記載する。
※わたくしが行ったのはテンプレートマッチングです。

２．ポケモン対戦の概要

ポケモンはゲームフリークより発売されているゲームであり、
ポケモンと呼ばれるモンスターを収集し、育成、対戦するRPGである。
特に、現在ではネット上での対戦が可能であり、
レーティングバトルにて全世界のポケモンプレイヤーと競い合うことができる。

ポケモンバトルで勝つためには

バトル前のポケモン育成(最大6体をパーティとする)
バトル時のポケモン選出(パーティから3体を選出する)
バトルでの立ち回り(選出した3体でバトル)

が重要である。
特に１．バトル前のポケモン育成では、
現在のレーティングバトルでの流行によって影響を受けやすい。

レーティングバトルにてどのようなポケモンが流行っているかを知るためには
ポケモングローバルリンクとよばれる公式のHPにて知ることができる。
図は現在2017/03/11のランキング画面である。

この画面では全世界のポケモンプレイヤーが使用しているポケモンのうち、
使用頻度の高いポケモンが上位にランキングされる。
この画面から現在のレーティングバトルにて流行しているポケモンを把握することは可能である。

しかしながら、自分がレーティングバトルをした際に
どのようなポケモンと戦ったかを知ることができない。

自分が育成したポケモンと対戦したポケモンを把握し、
負けた試合でどのようなポケモンを相手が使用していたかを把握することは
レーティングバトルで勝ち抜くためには重要である。

そのため、ポケモンバトル時に相手がどのようなポケモンを使用したかを
記録しておくことが重要である。

ポケモンバトルでは2. バトル時のポケモン選出にて
以下の画面が表示される(以下、ポケモン対戦画面とする)

左が自分のポケモンであり、右が相手のポケモンである。

従来、バトルごとに対戦したポケモンを把握するためには、
1試合ごとに、相手のパーティをメモしたり、ポケモン対戦画面をキャプチャする必要があった。
メモや画面キャプチャにより、データを残した場合、
あとで集計や統計を取る際に手間がかかる。

また、

相手のポケモンパーティからどのようなポケモンがでてくるか、
相手のポケモンパーティを鑑みて自分はどのようなポケモンを選出するべきか
を確率計算によってある程度補助することができる可能性がある。

そこでポケモン対戦画面から相手のポケモンを自動判別し、
名前をデータとして残すシステムを開発したい。

わたくしがこの課題を始めたのは2014.10.21であり、
以下にその経過を記載したブログ記事を載せる。

ポケモン見せ合い画面キャプチャツールについて : ゲームやってる場合じゃねぇ！

xxxxxxxxxx

【ポケモン】自動判別＆KP集計するポケモン見せ合い画面キャプチャツールの進捗状況【ツール】 : ゲームやってる場合じゃねぇ！

xxxxxxxxxx

【対戦画面の画像募集】画像認識技術によるポケモン対戦画面選出抽出システム : ゲームやってる場合じゃねぇ！

xxxxxxxxxx

上記記事では主にテンプレートマッチングを使用している。

３．ポケモン対戦画面抽出における問題

主に５つの問題を認識している

画像のノイズ

ポケモン対戦画面に限らず、画像認識における問題である。
例えば2章で紹介したポケモン対戦画面はNintendo 3DSから直接画面出力しているため
画像はきれいに取れている。

しかしながらこのようにPC画面に直接Nintendo 3DS等のゲーム画面を出力するためには機材が必要である。
通常はゲーム機にカメラを向けて画像を取得するため以下のような画像が多い。

このようにカメラで撮影した画像でも、輝度やモアレ縞、コントラストの違い、画面上の汚れなどによって
得られる画像の質にばらつきが生じる。

そのため、画像を取得した際に、ポケモンのアイコンを判別する前に処理が必要である。

画面の傾き

上記の画像のノイズで使用した画像でもわかる通り、
画像が真正面からとられているとは限らない。
その場合、アイコンが傾いていたりする。

HOG等の特徴量では画像の傾きなどにロバストではある。
また、Hough変換によってオレンジ色領域を検出し、
台形から長方形に変換することで解決する見通しである。
この場合、オレンジ色領域を囲う部分を正確に抽出する必要はある。

やさしいハフ(Hough)変換講座 - Qiita

xxxxxxxxxx

ポケモンのアイコン位置の特定

テンプレートマッチングする場合、
6体のポケモンアイコンがどこにあるのかを特定しなければならない
例えば、(前作のポケモン画像であるが)以下の画像があるとする。

この画像からポケモン6体を抽出した場合、
正解としては

フシギバナ
ルカリオ
マフォクシー
メタモン
ゲンガー
ゴースト
となる。
しかしながら、場所がわからずテンプレートマッチングを6回回してしまった場合、
キャタピーが選出されることがある。

これは背景色が原因である。
背景色が緑系なので中央部分のアイコンがいない
ところで緑の成分が多いキャタピーとマッチングしてしまう。

一応対策として

背景色の除去
アイコン領域の分割
アイコン位置の自動特定
がある。
取り組んだ内容については次記事以降に記載したい。

ポケモンのアイコンの特定

事前に用意したモデル画像から特徴量を抽出し、
アップロードされたポケモン対戦画面から6体のポケモンを抽出する。
特徴量としてはいろいろ考えられるがわたくしはPythonのOpenCVを使用している。

テンプレートマッチング — OpenCV-Python Tutorials 1 documentation

xxxxxxxxxx

計算時間の問題

ポケモンバトルにおいて相手のポケモンを見てから自分のポケモンを選出する際、数分程度しかない。
相手のポケモンをメモする程度ならばよいが、

相手のポケモンパーティからどのようなポケモンがでてくるか、
相手のポケモンパーティを鑑みて自分はどのようなポケモンを選出するべきか

を確率計算する場合、画像認識の計算時間はできるだけ抑えたい。