今回は、先日行われた「Google I/O 2021」で発表されたVertex AIのAutoMLを利用した自動識別AIを作っていきます。
注：今回の内容は、GCPの課金対象となります。金額に関しては、注意しながら作成してください。問題が発生してもこの記事の作者は、一切責任を取りません。AutoMLの金額に関しては、こちらを確認してください。
AutoML とは
AutoMLは、Google Cloud Platform内にあるVertex AIにおける一つです。
Vertex AIの紹介ページには、下記のように書かれています。
Build with the groundbreaking ML tools that power Google, developed by Google Research
訳：Google Researchが開発したGoogleを支える画期的な機械学習ツールで構築
Deploy more models, faster, with 80% fewer lines code required for custom modeling
訳：カスタムモデリングに必要なラインコードを80%削減し、より多くのモデルをより迅速に導入
Use MLOps tools to easily manage your data and models with confidence and repeat at scale
訳：MLOpsツールを使用して、データとモデルを信頼性の高い方法で容易に管理し、大規模に繰り返すことができる
上記の中で一番特徴的なのは、コードを80%削減することができるという点です。誰でも、簡単にAIを使った識別をできるようになるのです！なぜ、Vertex AIがプログラム量が少なくても識別AIを作れるのかというのが公式サイトに書いてありました。
Vertex AI には、目的に合った結果を得るために使用できる、教師あり学習タスクが含まれています。アルゴリズムやトレーニング方法の詳細は、データ型とユースケースによって異なります。機械学習にはさまざまなサブカテゴリがあり、それらはすべて異なる問題を解決し、異なる制約の中で動作します。
便利な時代だなと思いました。
Vertex AIの詳細については、このページを参照してください。
その中でも、AutoMLは、プログラムに詳しくない人が利用できます。AutoMLだけでなく、Vertex AIにはカスタムトレーニングというプログラムの技術やデータサイエンスの知識が必要となりますが、細かく設定のできるモードも存在します。（プログラムの量は通常より削減できます）
どちらにしようか悩んでいる方は、このページを参照してください。表になって細かく書いてあります。
今回は、AutoMLを利用します。
実際に行ってみる
それでは、行ってみましょう！
識別させたい画像を用意する
AIに学習させるためには、同じラベルの画像が通常は最低10枚以上必要になります。（今回の場合は、100枚以上の画像が一つのラベルに必要です）識別させたい画像を事前に用意しておいてください。どの画像を使おうか決まってないや、そんなのないという方は、ここからデータセットをダウンロードして利用することをおすすめします。今回、データセットを利用させてもらったサイトは、こちらです。kaggleは、AIのデータセットがたくさんあり有名です。（ダウンロードには、会員登録が必要です）今回は、犬と猫を見分けることを目標とします。（Zipでダウンロードされるので、解凍して利用します。解凍すると200MBぐらいになります。）
データセットを作成する
Vertex AIは、ハンバーガーメニューのしたの方にあります。
Vertex AIにアクセスするとEnable Vertex AI APIと書いてあるのでそこをクリックして、ENABLEにします。
ENABLEにすると下の方にあるデータセットを作成が選択できるようになるのでそれをクリックします。
今回は、犬と猫を同時に読み込ませてもどちらが犬でどちらが猫かというのが表示されるようにします。なので、データタイプと目標の設定で**画像分類（マルチラベル）**を選択します。データセット名は、何でも大丈夫です。ここには、日本語の入力もできます。（初期のuntitled~~のままでも問題ありません）リージョンに関しては、どちらでもよいです。ですが、GCPは、基本的にusリージョンの方が安いのでusにしておくことをおすすめします。設定が完了したら作成をクリックします。
作成が完了すると画像をインポートする画面になります。
ここで先ほどダウンロード（事前に用意した画像）した画像をインポートします。インポートする際に、犬と猫を分けてアップロードすることをおすすめします。（ラベル付けが楽になります）今回は、最初にも書いたのですが10枚アップロードしたところ100枚ないと出来ないよ見たいな表示がでてくるので先ほどダウンロードした画像から犬と猫をそれぞれ100枚以上分けてインポートします。画像をインポートするとしたの方にストレージのパス（画像を保存するストレージ）の選択を求められます。使っていないストレージを利用してください。新規作成する場合、BROWSEから右上に追加マークがあるので新規作成できます。保存ストレージのパスを決めたら続行をクリックします。右下にアップロードステータスが表示されます。
アップロードが完了すると下記のような画像になります。このステップには、時間がかかります。完了するとメールが届くので完了まで待ちます。
| GCP | メール |
|---|---|
 |
 |
完了メールが来たら上の方にある参照に移動します。まずは、ラベルを作成します。今回は、犬と猫を見分けたいので新規ラベルを追加をクリックします。下記のように表示されるのでDogと入力します。次にもう一度新規ラベルを追加からCatと入力して完了です。（ここでは、英語のみ入力できます）
トレーニングの準備をする
全て選択→ラベルの割り当てを選択します。（この際に、下の方にあるページあたりのアイテム数を100にしてから全て選択にすると楽です）
ラベルの割り当てを選択すると先ほど作成したラベルが表示されるのでインポートした画像のラベルを選択します。
続いてもう一方の画像をインポートして先と同様にします。全てアップロードしてラベルを分別するとトレーニングを行えるようになり、画面の右上に新しいモデルをトレーニングを選択できるようになります。表示されていない場合は、分析タブにどうしたらよいか書いてあるので確認してみてください。
新しいモデルをトレーニングをクリックすると下記のような画像の画面が表示されるので、AutoMLが選択されていることを確認して特に変更せず次の画面に進みます。
ここら辺は、自信にあった設定にしてください。（モデル名の変更は、自由ですが、他は特に変更する必要ありません）
次に、時間の設定なのですが、最低でも8ノードにする必要があるので8と入力します。この際に、下にあるEnable early stoppingの設定にチェックをいれといてください。（標準でこの設定になっていると思いますが）200枚ぐらいの写真なら20分ぐらいでトレーニングが終わるので、8ノードの設定でトレーニングをすると料金が無駄に高くなります。注意してください。
全ての設定が完了したらトレーニング開始をクリックします。
トレーニング結果を確認する
20分ぐらいでトレーニングは、終わります。（200枚程度なら）トレーニングが完了すると左側にある一覧のモデルという場所をクリックするとトレーニングが完了していることがわかります。また、先ほどの画面のままの方は、（一つ前のステップの最後の方の画面）このような表示がでているのでモデル名をクリックすることでとトレーニングの結果を確認できます。
私の場合、下記がトレーニング結果になりました。（少し画像を増やしたりしているので枚数が先ほどまでと違います）
| 再現率 | 信頼度のしきい値 |
|---|---|
 |
 |
上記のように詳細を確認できます。今回、私がインポートした画像の場合、AIがテストの際に誤って認識してしまったものがありました。左側にあるラベル横の数値が1となっていない場合は、何かしらの間違いをしてしまったということになります。詳細を確認するには、左側にあるラベルをクリックすると2枚目の写真のように確認できます。
↓間違えてしまった画像
モデルを自動的に分類させてみる
ここまでで、AIは、犬と猫をだいたい見分けられるようになりました。最後に、本当に見分けられているのかを確認してみます。
デプロイとテスト→エンドポイントへのデプロイをクリックします。エンドポイント名は、自由に入力します。コンピューティング ノード数を1と入力します。入力したら次のステップに進みます。
次のステップは、特に変更せずにそのままにします。そして、デプロイします。
全て完了するとエンドポイントが作成されます。（20分ぐらいかかります）最後に、API経由でAIに、画像に写っている犬や猫を識別させていきます。
作成した設定をもとに実行していきます。
実行環境
- Debian10
- Google Cloud SDK v340.0.0
Google Cloud SDKのインストール
私は、GCEを利用したため、既にGoogle Cloud SDKがインストール済みでした。なので、割愛させていもらいます。
何かしらを見たいというかたは、GCPの公式ドキュメントを参考にしてください。
実行環境を作る
ログインします。（ここら辺は、コマンド上の指示にしたがってください）
gcloud init
認証します。（ここもコマンド上の指示にしたがってください）
gcloud auth application-default login
ここまでで、たまにエラーとかでたりします。（自分もでました。）もし、解決できなさそうならコメント欄に書き込んでください。
実行するための画像ファイルを入れるjsonファイルを作成します。ファイル名は、何でもよいですがパスを後で通すので楽な名前にしておくことをおすすめします。
contentの中にbase64でエンコードした画像文字列が必要です。この際に、変換サイトなどで変換すると文字列の最初に**data:image/jpeg;base64,**とついている場合があるのですが、この部分は必要ないのでカットして張り付けてください。ちなみに、画像サイズがでかいと文字列の長さが大変なことになります。（解像度を下げたりするとよいです）
{
"instances": [{
"content": "base64にエンコードした画像文字列"
}],
"parameters": {
"confidenceThreshold": 0.5,
"maxPredictions": 5
}
}
次は、ProjectIDなどが必要です。確認するには、「Vertex AI」→「エンドポイント」→作成したエンドポイントをクリックします。右上に「リクエストの例」があるのでクリックします。4番目のステップに書いてあるのがendpoint_idとproject_idです。それをそのままコピーしてコマンドに張り付けて実行します。
INPUT_DATA_FILEには、先ほど作成したjsonのパスを入力します。
ENDPOINT_ID="XXXXXXXXXXXXXXXX"
PROJECT_ID="XXXXXXXXXXXX"
INPUT_DATA_FILE="/vertex/set.json（例）"
パスを通したら下記のコマンドを実行します。
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1alpha1/projects/${PROJECT_ID}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict \
-d "@${INPUT_DATA_FILE}"
実行すると下記のようにレスポンスされます、
この場合、0.999995708の割合で（1が上限）犬と見たようです。ちなみに、インプットした写真は、犬の写真だったので正解でした。
最後に
いかがだったでしょうか。このようにしてノーコードで簡単に犬と猫を見分けられるAIを作成しました。ラベルを増やせば、見分けられる種類を増やすことができます。