機械学習
MachineLearning
DeepLearning
CognitiveServices
CustomVisionService

Custom Vision Serviceで生け花判定してみよう。その2

STEP3

各項目7~8枚ずつ画像を入れた後、Trainボタンを押して学習させてみます。
all image.png

途中で画像を追加したい場合は、Add some images!で画像を追加できます。
add image.png

STEP4

学習後のPerformanceを見てみます。
performance overview.png

PrecisionとRecallのパーセンテージ、また各項目ごとのパーセンテージが出ました。
Precisionは適合率、Recallは再現率といい、この2つの数値は相反しやすいものとなります。
Precisionでより精度の高い結果がでた場合、Recallでは網羅率を高く、できるだけ取りこぼしがないように広く結果を出しているため、数値が低くなります。

項目ごとのパーセンテージを見てみると、面白い結果になりました。
自由花のPrecision、Recallはいずれも80%を超えており、かなりの確率でこれは自由花だと判定されたことになります。
立花を見てみると、Precisionが66%と低く、Recallが83%と高い数値が出ています。また生花ではPrecisionが66%、Recallが50%と双方があまり高くない結果になりました。

この数値から考えられるインサイトは以下があげられます。
1.自由花の花型は判定しやすい。形に特徴があるからでしょうか?
2.立花と生花の花型は判定しにくい。判定に迷っている。立花は生花の発展形なので基本の形が似ているからかもしれません。

STEP5

ここで、Iteration Historyを見て、どの画像がエラー判定されたのか見てみます。赤枠で囲われたのが、エラー判定された画像です。
iteratoin history.png

少し詳細を見てみます。

本来は生花ですが、立花と判定されたようです。
example 1.png

こちらは立花ですが、立花、自由花、両方と判定されました。
example 2.png

こちらは自由花ですが、自由花、立花、生花、どれとも判定されませんでした。
example 3.png

このように、明らかに異なる花型を項目ごとに分けて学習させても、何枚かはエラー判定されてしまうことから、生け花を判定するのは難しいのだということがわかりました。

次回はより精度高く判定できるよう、より多くの画像を使って判定していきたいと思います。