iPhoneと機械学習で何か面白いものを作ろうと思い、今回はフライドチキンの分類を作りました。〇ンタッキーフライドチキンの部位は、キール（胸）、リブ（あばら）、ウイング（手羽）、サイ（腰）、ドラム（脚）の５つのカテゴリーに分けられます。この５つのうちどれかを分類します。

内容

機械学習の簡単な説明
機械学習には学習済みモデルが必要です。モデルに画像を与えると「強いて言えば何か」が結果として出力されます。モデルはいくつか公開されていて、InceptionV3（Google）、VGG16（Oxford大学）、ResNet50（Microsoft Research）などがあります。モデルというと想像できにくいですが、拡張子 .mlmodel の100MB程度のファイルです。

この公開モデルには1000個のカテゴリーが入っています。例えばマウスであったり、コンピューターキーボードであったり、PCモニターの前に座った人をバーバーと分類したりします。画像を与えると全てのカテゴリーを足して100になるように結果が出ます。Aが80点と出る時もあれば、A30点、B25点、C20点と微妙な時もあります。

今回やること
今回のフライドチキンは５つのカテゴリーです。なのでカメラで人をとらえても「リブ」などと表示されてしまいます。１回の分類ではどうしても誤差が出てしまうので、１秒間に２回分類して、結果をリアルタイムに更新するような仕様にしました。

開発環境

XCode iOS Swift
CoreML Framework
iOSの機械学習ライブラリ
Turi Create
学習モデルを作成します。Pythonで動かします。作ったモデルをiPhoneに送ります（TuriはAppleがを2016年に買収しました）

モデルの作成

手順

Python と Turi Create をインストールします。
トレーニング画像（チキンの画像）をいっぱい集めます。
画像をフォルダに分けます。
ターミナルで python model.py を実行します。
結果、Chicken.mlmodel が作成されます。

model.py

import turicreate as tc
import os

data = tc.image_analysis.load_images('train', with_path=True, recursive=True)
data['label'] = data['path'].apply(lambda path: os.path.basename(os.path.dirname(path)))
data.save('Chicken.sframe')

train_data, test_data = data.random_split(0.9)
model = tc.image_classifier.create(train_data, target='label', max_iterations=100)

predictions = model.predict(test_data)
metrics = model.evaluate(test_data)
print('metrics=' + str(metrics['accuracy']))

model.save('Chicken.model')
model.export_coreml('Chicken.mlmodel')

解説
trainフォルダの下にフォルダを作り、トレーニング画像であるチキンの画像を200枚くらい入れます（頑張りました）。モデルを作成すると「フォルダ名」がそのまま「分類名」になります。今回の例では、drum、keel、rib、thigh、wing の５つのフォルダを作り、それぞれに画像を入れます。実行してできた Chicken.mlmodel を XCode プロジェクトにコピーします。

アプリ

ソースはGithubに置きました。Inceptionv3モデルが入っています。自作したモデルを入れ替えて使ってください。
https://github.com/koji4104/ImageDetector

解説
上の例は、wing（手羽）とdrum（脚）です。このアプリでは毎回結果をプラスして、20をマイナスします。１秒間に２回処理をするので、何もなければ2.5秒でゼロになります。

まとめ

画像分類は可能性があると思います。素人では見分けがつかないものでも、分類できるようになります。今回のアプリではiPhone(iPad)を使うので、人が持ち運んで使うことができます。顔認証などは大手企業がやるでしょうから、私のような小さな会社は、特定の業界や施設に特化した画像分類をやれば、何かビジネスなるかもしれません。

画像分類の実験を何度かやって思うのですが、とにかく学習モデルを作るのが面倒です。前回は写真を必要なとこだけ手作業で切り取っていましたが、今回は写真を正方形で中心で撮って、加工なしで使っています。かなり作業は減りましたが、それでもフォルダに振り分けるのが面倒でした。撮ると同時にファイル名を付けるなど、まだまだ成長の要素があると思います。