きっかけ
--------ここから雑談興味のない人は読み飛ばし推奨--------
趣味でポケモンの対戦を嗜んでいるときに、以下の問題に悩んでいた
・相手のポケモンのメジャーな持ち物と技を調べないとわからない
・ゲームの1ターンごとの時間が足りず、調べていると間に合わない
・そもそも、調べるのが面倒
周知の事実ではありますが、万が一知らない人のために説明すると、
ゲーム内の1ターンは45秒、
その間に相手のポケモンの「技,持ち物,とくせい,種族値,努力値...etc」
を考慮してこちらの行動を選択するということが、
ポケモンバトルでは絶えず繰り返されています
その情報を調べるためにゲームをしながらPCに張り付いたりと結構面倒。。。
--------ここまで雑談興味のない人は読み飛ばし推奨--------
結局何がしたいのか
スマホのカメラを起動し、映ったポケモンの情報を画面に表示したかった。
※画像はイメージです
ただ、全てを一気にやるのは無理なので、一旦画像認識にスポットを当てて勉強することに
本題
環境
・Xcode 12.4-v
・iPhone SE iOS 14.4-v
画像認識のやり方を調べる
XcodeのCreateMLが公式でサンプルアプリと画像データの作成方法を出していたのでこちらを使用
ざっくり説明すると、
画像データに関してはこんな感じで作ってくれるらしい
できるアプリはこんな感じ
実際の作業について
1,xcodeでCreateMLを使用し、画像データを作成する
2,公式からサンプルサンプルコードをダウンロードしてくる
3,サンプルコードの画像データを作成したサンプルファイルに書き換える
1,xcodeでCreateMLを使用する
xcodoを開き、左上のxcodeタブから、
open develop tool → CreateMLの順で開く
プロジェクトを保存するディレクトリを選択してImage ClassifiClassificcationを選択
そのままファイル名などを選択していくと.mlprojの拡張子のファイルができる
（今回だとpokemon_img.mlproj）
サンプルとなる学習用のtrainingデータとtestデータと画像フォルダを作成する
作成したpokemon_img.mlprojを開き、
青枠の部分にtrainingデータとtestデータのフォルダを選択し、
画面左上のtrainボタンを押す
実行後の画面からoutputの項目を選択し、getのボタンを押すと
画像認識用のデータが作成される
2,公式からサンプルサンプルコードをダウンロードしてくる
以下のサイトから公式のサンプルコードを持ってくる
https://developer.apple.com/jp/machine-learning/models/
3,サンプルコードの画像データを作成したサンプルファイルに書き換える
まずはダウンロードしたサンプルコードをxcodeで開き、作成した画像データを取り込む
続いてアプリで読み込んでいる画像データファイルを書き換える
（このとき書くのはファイル名のみ）
これでアプリをビルドすれば完成！
今後の課題
・現状のアプリだと写真を撮って画像を解析し、判定するという流れなので、リアルタイムに画面に映ったものを判別したい
・画面に二つ以上の要素があったときに片方だけしか反応しないので、複数の要素を判別できるようにする
・ポケモン公式が出しているAPIとの繋ぎ込みを考える
・ポケモンの名前を判別した後に、名前をタップすると情報が出てくるページを作りたい
まだまだ先はながい。。。
参考文献（正直、参考文献の方がわかりやすいやつ）
Swiftでアイマスの画像認識やってみる
https://qiita.com/thimi0412/items/99613d41e5a66b6ea95f
Create MLで自作のモデルを作成して画像認識する
https://note.com/yorifuji/n/n315cc6a0ebd9
iOSの機械学習の公式サンプルアプリを試す（Core ML/Vision）
https://note.com/yorifuji/n/nffe255d02fd8