Amazon Lookout for Visionを試してみました（森口さんvs森田さん）

AWSには画像から異常検知を行うAmazon Lookout for Visionというサービスがあります。

• わずか 30 枚のイメージで、ライブのプロセスラインから異常を発見する機械学習 (ML) モデルを簡単に作成できます。
• 視覚的な異常をリアルタイムで特定し、欠陥の削減と防止、生産品質の向上を実現します。
• 計画外のダウンタイムを防ぎ、運用コストを削減するために、目視検査データを使って潜在的な問題を発見し、是正措置を講じます。

このサービスを試してみました。

題材

画像からの異常検知なので、画像を用意する必要があります。
事前に準備されているサンプル画像を使ってもいいのですが、自分で用意したいと思いました。
そこで用意したのがこちら。

はんこです。
森口と森田です。
森口を異常とすると失礼なので、森口印を正常、森田印を異常として検証しました。

（ちなみに、プリント基板のサンプル画像はこちらで提供されています。）

手順

画像の準備

Lookout for Visionでは、正常の画像が20枚以上、異常の画像が10枚以上必要になります。
せっせとはんこをおして、iPhoneで撮影しました。できるだけ同じアングルになるように取りました。

正常（森口印）

異常（森田印）

判別できそうな予感！

ワークスペースの作成

ここからはマネジメントコンソール上で行います。まずは、Lookout for Visionの画面に移動します。

左メニューのプロジェクトから、プロジェクトを作成します。名前をつけるだけです。
プロジェクトが作成できたら、「データセットを作成」をクリックします。

次の画面では、以下の項目を選択しました。

項目	選択肢
設定オプション	1つのデータセットを作成する
イメージをインポート	コンピュータからイメージをアップロードする

選択したら、「データセットを作成」をクリックします。

すると、このような画面になりますので、イメージを追加ボタンをクリックし、用意した画像をドラッグアンドドロップしてアップロードできます。

まずは正常画像（森口印）20枚をアップロードします。アップロード直後の画面はこのようになります。

「ラベルを追加」→「このページのすべてのイメージを選択」→「正常として分類」と操作を行い、「正常」のラベルを付けます。
1ページあたりの表示が9枚までなのでページングを切り替えてすべての画像に「正常」のラベルを付けた後、「変更を保存」ボタンを押します。

同じようにして、異常画像（森田印）をアップロードし、「異常」のラベルをつけます。
画像の追加アップロードは、「アクション」→「トレーニングデータセットにイメージを追加します」から行います。
フィルターで「ラベルなし」を選ぶと作業がはかどります。

30枚の画像全てにラベルをつけたら、モデルをトレーニングボタンを押し、トレーニングを開始します。

トレーニングが完了すると、トレーニング結果が表示されます。

モデル精度の検証

1回目

トライアル検出で、モデルの精度を検証してみます。
画像は正常3つと異常3つ用意しました。
結果はこちら！

そんなバカな。。全部異常に分類されました。（3勝3敗）

検証用に使った画像についても手動でラベルをつけることができ、この画像を追加してモデルの再学習ができます。
このあたりのフローが簡単にできるのはいいですね。

2回目

1回目の検出に使った6枚の画像を追加して再学習し、再度トライアル検出を行ってみました。

トライアル検出に使用する画像を間違えてしまい、6件全部を正常（森口印）にしてしまいました。（後で間違いに気づきました）

その結果がこちらです。

全部不正解（0勝6敗）です。　(´・ω・｀)
やり方が悪いのか、、そもそも題材が悪いのか。。

3回目

予め用意していた画像全部つぎ込んで、最後の実施です。（全部で60枚の画像）

ちなみにこのトライアル検出も使用する画像は間違えたので、すべて正常（森口印）で行っています。

なんと！ここに来て全部正解！！！

やったね。

おまけ

異常を検知できたかがよくわからない検証になったので、改めて、はんこを押しました。
3回目と同じモデルで、森口印10枚、森田印10枚で最終検証です！

期待値	検証数	正解数	不正解数
正常（森口印）	10	10	0
異常（森田印）	10	3	7

正常（森口印）はすべて正しく判定されました。

浅い知識ですが、、、
あってるか自信はありません。そしてどう判断していいかはわからない。。

指標	値
正解率(Accuracy)	13/20 = 65%
適合率（Precision）	10/17 = 58.9%
再現率（Recall）	10/10 = 100%

まとめ

• もっと接写して撮ると結果が違うかも？

• 正常20枚、異常10枚の最小枚数でいい精度を出すのは無理がありそう

• おそらく一生分の森口さん印を押しました（笑）