はじめに

スマブラー(~~本業はシステムエンジニア~~)がスマブラの動画からキャラクターが受けたダメージを認識させ、それをグラフに描画するものを作りました。スマブラのレート対戦ではVIP(上位3%)ですが、システムエンジニアとしては逆VIP(下位3%)です。(特に機械学習は最近勉強し始めました)

短くまとめるのが難しそうなので、前編、後編(もしかしたら中編も)で分けました。
前編ではTesseract OCRを使ったキャラクター名とダメージの認識の実装について
後編ではOpenCVを使ったダメージ(数字)の輪郭抽出と、機械学習を使ったダメージ認識の実装について書く予定です。

Qiita初投稿なので、至らない点があると思います。
なにかありましたらコメントをお願いします(厳しいご指摘もお待ちしてます！！:D)

作ったもの

下記のような画面(動画ファイル)の下部に表示されているダメージを認識させてグラフに描画させました。

Input

Output

開発環境

ＯＳ　　　：Windows10 Home 64 bit
言語　　　：Python 3.7.4
エディタ　：Atom 1.40.0
ソース管理：Github

実装

車輪の再発明はするな by えらいひと　
という有り難いお言葉をどこかでQiitaことがあるので、まずはオープンソースで画像から文字を認識してくれるものを探してみて、一番最初に見つけた、『Tesseract OCR』というものを使ってみました。

tesseract

私はWindowsを使用しているので、下記の記事を参考にインストールしました。
Tesseract OCRの始め方

pyocr

Tesseract OCR自体は、画像を入力として与えると文字列を返してくれるツール(OCR)のようで、そのままではPython上では動かせません。
そのため、OCRをpython上で動かすためのpyocrをインストールします。
インストールは簡単で、下記のようにpipコマンドを打つだけです。

コマンドプロンプト

pip install pyocr

インストールが終わったら実際にpython上で動かしてみます。
※私の環境では環境変数をいじらないと上手くpyocrがTesseractを認識してくれなかったので、下記の記事を参考に環境変数を追加しました。
tesseractでOCR@Windows7

キャラクター名(アルファベット)の認識

sample.py

import pyocr
import cv2
import os
import sys
from PIL import Image

# read OCR tools
tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)

# select pyocr.tesseract
tool = tools[0]

# input image file
root_dir = os.path.split(__file__)[0]
image_luci = os.path.join(root_dir, 'data/lucina.png')
image_bayo = os.path.join(root_dir, 'data/bayonetta.png')

image = cv2.imread(image_luci, 0)
lucina = tool.image_to_string(
    Image.fromarray(image),
    builder=pyocr.builders.TextBuilder(tesseract_layout=6)
)

image = cv2.imread(image_bayo, 0)
bayonetta = tool.image_to_string(
    Image.fromarray(image),
    builder=pyocr.builders.TextBuilder(tesseract_layout=6)
)

# output
print('期待値：BAYONETTA 実行結果：{}'.format(bayonetta))
print('期待値：LUCINA    実行結果：{}'.format(lucina))

Input

Output

期待値：BAYONETTA 実行結果：BAYONETTA
期待値：LUCINA    実行結果：LUCINA
[Finished in 0.714s]

キャラクター名を認識するには実用できそうです。
では肝心なダメージの認識はどうでしょうか。

ダメージ(数値)の認識

sample.py

import pyocr
import cv2
import os
import sys
from PIL import Image

# read OCR tools
tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)

# select pyocr.tesseract
tool = tools[0]

# read image file
root_dir = os.path.split(__file__)[0]

image_135_5 = os.path.join(root_dir, 'data/135_5.png')
image_6 = os.path.join(root_dir, 'data/6.png')

image = cv2.imread(image_135_5, 0)
damage_135_5 = tool.image_to_string(
    Image.fromarray(image),
    builder=pyocr.builders.TextBuilder(tesseract_layout=6)
)

image = cv2.imread(image_6, 0)
damage_6 = tool.image_to_string(
    Image.fromarray(image),
    builder=pyocr.builders.TextBuilder(tesseract_layout=6)
)

# output
print('期待値：135.5 実行結果：{}'.format(damage_135_5))
print('期待値：135.5 実行結果：{}'.format(damage_6))

Input

Output

期待値：135.5 実行結果：
期待値：6     実行結果：GB
[Finished in 0.712s]

結論

キャラクター名の認識では、背景がグレーになっているため、Tesseractが有用でしたが
ダメージの認識では背景がゲームのバックグラウンドの影響をかなり受けるため、難しそうです。
詳しい内容は次回の記事で書きますが、まずは背景の情報量を落とす必要がありそうです。
(いろいろ試した結果、機械学習させました...)