11
Help us understand the problem. What are the problem?

More than 5 years have passed since last update.

posted at

updated at

【画像認識】ポケモン対戦画面抽出システムの概要と課題

1.記事の内容

この記事では、ポケットモンスター(以下ポケモン)での対戦における課題の1つである
ポケモン対戦画面よりポケモンの自動判別について記載する。

目的としては、ポケモンにおけるこの課題を知ってもらい、
画像認識に関係している方々に意見をもらうことである。
※ちなみにわたくしは画像認識については門外漢であり、独学中。

また最近になって同志が増え始めたため、この記事を記載した。

技術的な記事についても次記事以降に記載する。
※わたくしが行ったのはテンプレートマッチングです。

2.ポケモン対戦の概要

ポケモンはゲームフリークより発売されているゲームであり、
ポケモンと呼ばれるモンスターを収集し、育成、対戦するRPGである。
特に、現在ではネット上での対戦が可能であり、
レーティングバトルにて全世界のポケモンプレイヤーと競い合うことができる。

ポケモンバトルで勝つためには

  1. バトル前のポケモン育成(最大6体をパーティとする)
  2. バトル時のポケモン選出(パーティから3体を選出する)
  3. バトルでの立ち回り(選出した3体でバトル)

が重要である。
特に1.バトル前のポケモン育成では、
現在のレーティングバトルでの流行によって影響を受けやすい。

レーティングバトルにてどのようなポケモンが流行っているかを知るためには
ポケモングローバルリンクとよばれる公式のHPにて知ることができる。
図は現在2017/03/11のランキング画面である。
gl.PNG

この画面では全世界のポケモンプレイヤーが使用しているポケモンのうち、
使用頻度の高いポケモンが上位にランキングされる。
この画面から現在のレーティングバトルにて流行しているポケモンを把握することは可能である。

しかしながら、自分がレーティングバトルをした際に
どのようなポケモンと戦ったかを知ることができない。

自分が育成したポケモンと対戦したポケモンを把握し、
負けた試合でどのようなポケモンを相手が使用していたかを把握することは
レーティングバトルで勝ち抜くためには重要である。

そのため、ポケモンバトル時に相手がどのようなポケモンを使用したかを
記録しておくことが重要である。

ポケモンバトルでは2. バトル時のポケモン選出にて
以下の画面が表示される(以下、ポケモン対戦画面とする)
aaa.PNG
左が自分のポケモンであり、右が相手のポケモンである。

従来、バトルごとに対戦したポケモンを把握するためには、
1試合ごとに、相手のパーティをメモしたり、ポケモン対戦画面をキャプチャする必要があった。
メモや画面キャプチャにより、データを残した場合、
あとで集計や統計を取る際に手間がかかる。

また、
- 相手のポケモンパーティからどのようなポケモンがでてくるか、
- 相手のポケモンパーティを鑑みて自分はどのようなポケモンを選出するべきか
を確率計算によってある程度補助することができる可能性がある。

そこでポケモン対戦画面から相手のポケモンを自動判別し、
名前をデータとして残すシステムを開発したい。
aaaa.PNG

わたくしがこの課題を始めたのは2014.10.21であり、
以下にその経過を記載したブログ記事を載せる。

上記記事では主にテンプレートマッチングを使用している。

3.ポケモン対戦画面抽出における問題

主に5つの問題を認識している

画像のノイズ

ポケモン対戦画面に限らず、画像認識における問題である。
例えば2章で紹介したポケモン対戦画面はNintendo 3DSから直接画面出力しているため
画像はきれいに取れている。

aaaa.PNG

しかしながらこのようにPC画面に直接Nintendo 3DS等のゲーム画面を出力するためには機材が必要である。
通常はゲーム機にカメラを向けて画像を取得するため以下のような画像が多い。
unspecified.png無題.jpg

このようにカメラで撮影した画像でも、輝度やモアレ縞、コントラストの違い、画面上の汚れなどによって
得られる画像の質にばらつきが生じる。

そのため、画像を取得した際に、ポケモンのアイコンを判別する前に処理が必要である。

画面の傾き

上記の画像のノイズで使用した画像でもわかる通り、
画像が真正面からとられているとは限らない。
その場合、アイコンが傾いていたりする。

HOG等の特徴量では画像の傾きなどにロバストではある。
また、Hough変換によってオレンジ色領域を検出し、
台形から長方形に変換することで解決する見通しである。
この場合、オレンジ色領域を囲う部分を正確に抽出する必要はある。

ポケモンのアイコン位置の特定

テンプレートマッチングする場合、
6体のポケモンアイコンがどこにあるのかを特定しなければならない
例えば、(前作のポケモン画像であるが)以下の画像があるとする。
adfadfa.JPG
この画像からポケモン6体を抽出した場合、
正解としては
1. フシギバナ
2. ルカリオ
3. マフォクシー
4. メタモン
5. ゲンガー
6. ゴースト
となる。
しかしながら、場所がわからずテンプレートマッチングを6回回してしまった場合、
キャタピーが選出されることがある。
image_10.png
これは背景色が原因である。
背景色が緑系なので中央部分のアイコンがいない
ところで緑の成分が多いキャタピーとマッチングしてしまう。

一応対策として
- 背景色の除去
- アイコン領域の分割
- アイコン位置の自動特定
がある。
取り組んだ内容については次記事以降に記載したい。

ポケモンのアイコンの特定

事前に用意したモデル画像から特徴量を抽出し、
アップロードされたポケモン対戦画面から6体のポケモンを抽出する。
特徴量としてはいろいろ考えられるがわたくしはPythonのOpenCVを使用している。

計算時間の問題

ポケモンバトルにおいて相手のポケモンを見てから自分のポケモンを選出する際、数分程度しかない。
相手のポケモンをメモする程度ならばよいが、

  • 相手のポケモンパーティからどのようなポケモンがでてくるか、
  • 相手のポケモンパーティを鑑みて自分はどのようなポケモンを選出するべきか

を確率計算する場合、画像認識の計算時間はできるだけ抑えたい。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Sign upLogin
11
Help us understand the problem. What are the problem?