LoginSignup
7
3

More than 5 years have passed since last update.

@salamander

【毎月10連ガチャ無料】AutoML VisionでMNISTしてみた【1回200円のAIガチャ】

Last updated at Posted at 2018-07-29

https://cloud.google.com/automl/ にアクセスしてもアルファのままになってます。 https://cloud.google.com/automl/?hl=enでベータにアクセスできます。

MNISTとは

0から9の手書き数字の画像から数字を予測する問題です。
3.png 2.png 1.png 18.png 6.png 15.png 21.png 0.png 290.png 16.png

AutoML Visionとは

転移学習とLearning2learnを使用して、画像をアップするだけで学習してくれるサービスです。ハイパラチューニングやグリサなどは必要ありません。

手順

詳しい情報は、 こちら を参考にしてください。
初回は、 認証 などが必要かもしれません。

データセットを作成

まず、学習用のデータセットを作成する必要があります。上の ➕ NEW DATASET をクリックし作成します。
beta-dot-custom-vision.appspot.com_vision_datasets_list_project=automl-mnist (1).png

任意のデータセット名を入力し、画像をインポートします。今回はMNISTの学習データが60000ファイルあるため、GCSからインポートしています。その場でアップロードする場合は最大500ファイルまでです。1つの画像に複数のラベルがある場合は、 Enable multi-label classification にチェックを入れてください。 チェックすることで精度が向上します。
beta-dot-custom-vision.appspot.com_vision_datasets_create_project=automl-mnist.png

CREATE DATASET でデータセットを作成します。データセット作成に数分ほどかかることがあります。

作成すると、以下のような画面が表示されます。画像をラベルで絞り込むことが出来ます。上の Enable multi-label classification にチェックを入れていない場合警告が表示されることがありますが、気にする必要はありません。
beta-dot-custom-vision.appspot.com_vision_datasets_details_dataset=ICN9114935621187113290&project=automl-mnist.png

学習

TRAIN タブで学習をします。
beta-dot-custom-vision.appspot.com_vision_datasets_details_dataset=ICN9114935621187113290&project=automl-mnist (1).png

TRAIN NEW MODEL でモデルを作成します。
beta-dot-custom-vision.appspot.com_vision_datasets_train_dataset=ICN9114935621187113290&model=ICN7147526575035413566&project=automl-mnist.png

任意のモデル名を入力し、トレーニングバジェットを選択します。
beta-dot-custom-vision.appspot.com_vision_datasets_train_dataset=ICN9114935621187113290&model=ICN7147526575035413566&project=automl-mnist (1).png

ほとんどの場合、 1 compute hour(free)* で十分です。 START TRAINING で学習を開始します。学習にも数分ほどかかります。
beta-dot-custom-vision.appspot.com_vision_datasets_train_dataset=ICN9114935621187113290&model=ICN7147526575035413566&project=automl-mnist (2).png

評価

EVALUATE タブで評価します。
全体のメトリックとラベルごとのメトリックが確認できます。

Avg precision

Precision-Recall曲線の下面積です。0.5~1.0の間です。0.5がランダムで1.0に近づくほど正確なモデルになります。学習データに評価データがleakageしてしまい過学習(1.0に近い)することがあるのでデータセット作成時に学習データと評価データを分けてください。(詳細は こちら )

Score thresholdとPrecisionとRecall

スコア閾値によって 精度やリコール がどう変化するか確認できます。
beta-dot-custom-vision.appspot.com_vision_datasets_evaluate_dataset=ICN9114935621187113290&model=ICN7147526575035413566&project=automl-mnist (1).png

混合行列

評価中に学習データのラベルに予測された回数の割合です。少ししか間違えてないですね。
beta-dot-custom-vision.appspot.com_vision_datasets_evaluate_dataset=ICN9114935621187113290&model=ICN7147526575035413566&project=automl-mnist (2).png

予測

PREDICT タブで予測します。
UPLOAD IMAGES から画像をアップロードします。
beta-dot-custom-vision.appspot.com_vision_datasets_predict_dataset=ICN9114935621187113290&model=ICN7147526575035413566&project=automl-mnist (1).png

Predictions に精度が表示されます。今回は100%正しかったようです。
beta-dot-custom-vision.appspot.com_vision_datasets_predict_dataset=ICN9114935621187113290&model=ICN7147526575035413566&project=automl-mnist (2).png

外部サービスとして簡単に公開することも出来ます。
beta-dot-custom-vision.appspot.com_vision_datasets_predict_dataset=ICN9114935621187113290&model=ICN7147526575035413566&project=automl-mnist (3).png

データセット一覧

サイドバーの Datasets からデータセット一覧を表示できます。
beta-dot-custom-vision.appspot.com_vision_datasets_list_project=automl-mnist (2).png

モデル一覧

サイドバーの Models からモデル一覧を表示できます。

AUC

Area under the curveの略で、Precision-Recall曲線の下面積です。0.5~1.0の間です。0.5がランダムで1.0に近づくほど正確なモデルになります。
beta-dot-custom-vision.appspot.com_vision_models_project=automl-mnist.png

画像の形式

以下がサポートされているらしいです。最大30MB。GIFがあるのが面白いですね。
- JPEG
- PNG
- WEBP
- GIF
- BMP
- TIFF
- ICO

まとめ

どうだったでしょうか？簡単だと思います。LIMEやSHAPが使えるとさらにデバッグしやすそうですね。料金も毎月1時間以内の学習が10回無料で、それ以降は1時間あたり20ドルです。普通のモデルであれば、5分ほどで学習できるので200円くらいですね。ベースラインを決めるのにもすごく便利だと思います。人力ラベル付けサービスもあるらしいので興味深いですね。

7
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
7
3