3
4

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

株式会社やどかり & 株式会社ネッコスAdvent Calendar 2021

Day 3

Swiftで画像認識のアプリを触ってみた(swiftわからんけど)

Last updated at Posted at 2021-12-06

#きっかけ
--------ここから雑談興味のない人は読み飛ばし推奨--------
###趣味でポケモンの対戦を嗜んでいるときに、以下の問題に悩んでいた
・相手のポケモンのメジャーな持ち物と技を調べないとわからない
・ゲームの1ターンごとの時間が足りず、調べていると間に合わない
・そもそも、調べるのが面倒
unnamed.png
周知の事実ではありますが、万が一知らない人のために説明すると、

ゲーム内の1ターンは45秒、
その間に相手のポケモンの「技,持ち物,とくせい,種族値,努力値...etc」
を考慮してこちらの行動を選択するということが、
ポケモンバトルでは絶えず繰り返されています
その情報を調べるためにゲームをしながらPCに張り付いたりと結構面倒。。。

--------ここまで雑談興味のない人は読み飛ばし推奨--------

###結局何がしたいのか
スマホのカメラを起動し、映ったポケモンの情報を画面に表示したかった。
スクリーンショット 2021-12-03 12.40.50.png
※画像はイメージです
ただ、全てを一気にやるのは無理なので、一旦画像認識にスポットを当てて勉強することに

#本題
###環境
・Xcode 12.4-v
・iPhone SE iOS 14.4-v

###画像認識のやり方を調べる
XcodeのCreateMLが公式でサンプルアプリと画像データの作成方法を出していたのでこちらを使用

ざっくり説明すると、
画像データに関してはこんな感じで作ってくれるらしい
スクリーンショット 2021-12-06 7.58.06.png

できるアプリはこんな感じ
IMG_0427.PNG

#実際の作業について

1,xcodeでCreateMLを使用し、画像データを作成する
2,公式からサンプルサンプルコードをダウンロードしてくる
3,サンプルコードの画像データを作成したサンプルファイルに書き換える

###1,xcodeでCreateMLを使用する
xcodoを開き、左上のxcodeタブから、
open develop tool → CreateMLの順で開く
スクリーンショット 2021-12-06 8.06.36.png

プロジェクトを保存するディレクトリを選択してImage ClassifiClassificcationを選択
スクリーンショット 2021-12-06 8.09.12.png

そのままファイル名などを選択していくと.mlprojの拡張子のファイルができる
(今回だとpokemon_img.mlproj)
スクリーンショット 2021-12-06 8.11.23.png

サンプルとなる学習用のtrainingデータとtestデータと画像フォルダを作成する
スクリーンショット 2021-12-06 8.18.21.png

作成したpokemon_img.mlprojを開き、
青枠の部分にtrainingデータとtestデータのフォルダを選択し、
画面左上のtrainボタンを押す
スクリーンショット 2021-12-06 8.17.28.png

実行後の画面からoutputの項目を選択し、getのボタンを押すと
画像認識用のデータが作成される
スクリーンショット 2021-12-06 8.26.31.png

###2,公式からサンプルサンプルコードをダウンロードしてくる
以下のサイトから公式のサンプルコードを持ってくる
https://developer.apple.com/jp/machine-learning/models/

スクリーンショット 2021-12-06 10.25.02.png

###3,サンプルコードの画像データを作成したサンプルファイルに書き換える

まずはダウンロードしたサンプルコードをxcodeで開き、作成した画像データを取り込む
スクリーンショット 2021-12-06 10.30.24.png

続いてアプリで読み込んでいる画像データファイルを書き換える
(このとき書くのはファイル名のみ)
スクリーンショット 2021-12-06 10.32.12.png

これでアプリをビルドすれば完成!

#今後の課題

・現状のアプリだと写真を撮って画像を解析し、判定するという流れなので、リアルタイムに画面に映ったものを判別したい
・画面に二つ以上の要素があったときに片方だけしか反応しないので、複数の要素を判別できるようにする
・ポケモン公式が出しているAPIとの繋ぎ込みを考える
・ポケモンの名前を判別した後に、名前をタップすると情報が出てくるページを作りたい

まだまだ先はながい。。。

#参考文献(正直、参考文献の方がわかりやすいやつ)
Swiftでアイマスの画像認識やってみる
https://qiita.com/thimi0412/items/99613d41e5a66b6ea95f
Create MLで自作のモデルを作成して画像認識する
https://note.com/yorifuji/n/n315cc6a0ebd9
iOSの機械学習の公式サンプルアプリを試す(Core ML/Vision)
https://note.com/yorifuji/n/nffe255d02fd8

3
4
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
4

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?