今回実装してみたもの
準備
今回は冒頭のGifの通りCoinを検知して識別するものを試してみました。
準備するものは
- データ(Jpeg写真)100枚程度
- RecognizingObjectsInLiveCapture
- IBM Cloud Annotationsのアカウント(無料)
- 1円玉〜500円玉
以上です。
※Create MLはXcodeを右クリックでOpen Developer Toolにあるのでそこからmodelを作って下さい。
機械学習の大まかな種類
機械学習には
・Image Classification(画像の分類)
・Sound Classification(音の分類)
・Action Classification(動作の分類)
・Object Detection(物体の検知)
などがありますが、今回はObject Detectionの実装、つまり物体の検知をしていきます。
Objet Detectionとは
Object Detectionとは物体を検知をする事を指しますので”画像のどこになにが写っているか”と言うことを判定することになります。よって”写真”と”位置の情報”が必要となります。
写真はあらかじめ撮影し、フォルダ別に格納します。(フォルダ名＝分類名)今回は硬貨を検知し、識別していきたいので500円〜1円のフォルダと、それぞれの画像の位置情報が必要となります。
→Object Detectionについてより深く知りたい方はこちらをご覧ください。
Create MLでのオブジェクト検出モデルのトレーニング
手順
- データを集める。(検知したい写真をとる)
- IBM Cloud Annotations(以下IBMCAとする)を使って集めたデータを分類分け、位置情報を指定してデータセットを作る
- Create MLにIBMCAで作成したファイルを入れてModelを生成する
- Create ML上でTestをしてみる
- Appleのサンプルに入れて試してみる
写真をとる(データを用意する)
写真は今回Coinが写った写真を100枚ほど用意しました。
写真は
・様々な角度の写真
・大きさも大・中・小の３パターンとしてそれぞれ30枚前後用意
・背景は統一して白とした
データセットを作る(JSONファイル)
Object Detectionでは写真のみではなくJSONファイルも必要となる(位置情報が必要な為)ので今回はIBM Cloud Annotationsのアカウント(無料)を使って作成した。作り方は以下の通りである。
・IBM Cloudを続行するをクリック
・新しいプロジェクトをクリック
・ローカリゼーションをクリック
・ファイル名を記載し、プロジェクトが立ち上がると写真をD＆Dできるようになるので入れる
・Object(今回は硬貨)事にドラッグして囲んでいく
・右側にLabel名を記載できるので記載する
・一度記載したLabel名は左上のダウンリストより選択できるのでCoin事にLabel付すると効率がいい
・全ての写真にLabel付し終えた後はFileよりCreate MLで使用できるようにexportする
・このファイルが生成されれば成功
・フォルダの中にJSONファイルがあるか確認
Create MLでModel作成
データセットができたらXcodeを右クリックし、Create MLを立ち上げる
object Detectionを選択し、先ほど作成したデータセットのファイルをフォルダ事D＆D
Iterationは学習トレーニングを繰り返す回数(だと思います)で多ければ良いってわけではないみたいですが極度に少なくても精度が出ないので甘い場合は少し上げてみて調節してみて下さい。
(今回300、600、1000と試したが変わらなかった。)
学習を終えたらTestし、問題なければModelを取り出します。(D＆Dで取り出せる)
Recognizing Objects in Live Captureを使って試してみる
後はAppleが提供しているRecognizingObjectsInLiveCaptureをダウンロードして開く
ここにCreate MLで作ったModelをD＆D
codeはもともとObjectDetectorと言うmodelを読み込んでクロワッサンやバナナ？などを検知して識別するものが入っているので
swift
guard let modelURL = Bundle.main.url(forResource: "ObjectDetector", withExtension: "mlmodelc")
を
swift
guard let modelURL = Bundle.main.url(forResource: "coindetection", withExtension: "mlmodelc")
今回生成したmodel名に書き換えて実装
大体成功かな？
大体2時間ぐらいでデータセットから実装までできるので是非お試しあれ！
最後に
今回はサンプルを使用しましたがせっかくなのでここもSwiftUIで今後作っていくことにチャレンジしていきたいと思います！またその他にも機械学習に関するデータセットの作り方から実装までチャレンジしていきたいと思いますので是非興味あるかたはこちらもチェックしてみて下さい！
Twitter
https://twitter.com/oka_yuuji
note
https://note.com/oka_yuuji
また筆者高校の教職員ですが、技術の習得、研究が大好きです！もし技術的なご依頼や研究に関する事であれば下記にてDMでご連絡下さい。
https://twitter.com/oka_yuuji