【GCP】Node.jsでVertex AI AutomlのAPIを叩く方法【機械学習】

はじめに

今回業務でVertexAI Automlを使用する機会がありましたので、備忘録がてらここに記しておきます。

テストで動かしただけなので自分のローカル環境からAPIを叩けるようになるまでが今回のゴールとしています。
GCPをほとんど触ったことのない状態からのスタートだったので適宜色々調べながら実装を行いました。
なので自分みたいな「なにもわからん！」みたいな人にも分かるように書けたら良いなと思っています。
経験者の方は知ってる所は飛ばしながら読んでいただけると幸いです。
それではいってみましょ〜！

Why GCP? Vertex AI?

GCP（GoogleCloud）とは

Googleが提供しているクラウドコンピューティングサービス（クラウド）になります。

要はサーバーとかネットワークとかその他諸々便利機能を誰でも登録してお金さえ払えば（従量課金）使えるようにしてくれている訳です。
最近呼び方がGCPからGoogleCloudに変わったみたいで、Google Cloudの方がより広義で広い意味で使われてるっぽいです。
まあでもエンジニア界隈はみんなGCPって言ってますね。

VertexAI Automlとは

Vertex AIはGoogle Cloudの機械学習関連のサービスを統合したプラットフォームです。

サクッとまとめると、
1.テキストとか表とか画像とかなんでもデータを取り込んで、
2.そのデータに欠損とかノイズとかエラー値がある場合はそれを良い感じにして、
3.機械学習で成長予測とか出して、
4.それがちゃんと機能してるか自分で復習して、
5.デプロイしてそこにデータを与えると予測結果を返してくれる。
と言う優れものです。
Auto mlって何やねんと言う話ですが、Automlとは（Automated Machine Learning）の略称で、
上記に列挙したような内容をすべて自動でやってくれると言う訳です。
※手動でやる方法も選べますが上級者向きなので今回は割愛

全体の流れ

最低限の座学を学んだあとは全体の流れを頭に入れてから実装に移りたいと思います。 流れとしては、

１）Vertex AIを使えるようにする。
２）対象となるデータをデータセットに登録する。
３）データセットを指定してAutoMLの学習処理を実行する。
４）学習済みモデルを使ってエンドポイントの作成を行う。
５）Node.jsでエンドポイントを叩いてデータを取得する。
６）放っておくとお金が掛かり続けるので後片付け。
この流れで進めて行きたいと思います。
では具体的な流れを見ていきましょう

１）Vertex AIを使えるようにする。

さあまずはGoogle CloudのHome画面を開いてプロジェクトを選んでください。（お金が数千円かかるので無料枠だと使えません）

選べましたら左上のハンバーガーメニューを開き、一番下の「その他のプロダクト」のプルダウンを開き下にスクロールすると人工知能の欄に「Vertex AI」があるのでそちらを選びます。
※右のピンアイコンをクリックすると上部に固定できますので便利です。
最初は「APIを有効にする」と言うボタンが出てくるかと思いますので有効にしてください。
するとこのVertex AIのメイン画面に遷移すると思われます。

ここまで出来たら次のステップに移ります。

２）対象となるデータをデータセットに登録する。

次はAutoMLで利用するデータをVertex AIのデータセットに登録します。 Vertex AIはデータそのものを内部で保持するわけではなく、CloudStorageやBigQueryといったGoogleCloud上にデータを保存しておき、 そのデータの中からVertex AIで利用するデータを紐づけると言う形になっています。 ここのサイドバーメニュー画面から「データセット」を選んでください。

選択できたら上部にある「作成」を押します。

作成画面では、「データセット名」と「データタイプと目標の選択」を設定します。 データセット名は任意の名前で問題ありません。
データタイプは項目にある通り「画像」や「テキスト」などのデータの種類、目標は「回帰/分類」などの機械学習でどのような予測を行うかの種類を選択します。
今回は、「表形式」のデータタイプに対して「回帰/分類」を行うためのデータセットを作成します。
リージョン（データセンターが設置されているエリア）はこのままで問題ありません。

データセットに対してどのデータを紐づけるかを設定

表形式のデータの場合、Cloud Storageに保存されたCSVファイルかBigQueryをデータソースとして選択できます。

今回使用するデータセットですが、デフォルトでCloudStorageに入っていたと言う人はそれを使ってもらえたら大丈夫なんですが、自分の場合はデータが無かったのでこちらから取ってきました。
・Kaggle
https://www.kaggle.com/datasets/camnugent/california-housing-prices
登録が必要ですが、無料でサンプルCSVをダウンロードすることができます。

使用するデータは「カリフォルニア州の住宅価格の中央値」になります。
これでAutoMLから利用可能なデータセットの準備は完了です。

３）データセットを指定してAutoMLの学習処理を実行する。

作成したデータセットを使ってAutoMLの処理を実行します。

サイドバーメニューのトレーニングから作成をクリックします。
この画面の場合は下のテーブルにもうトレーニングが完了したデータが入っていますが、初めての場合はこちらは入ってないかと思います。
こちらの「トレーニング方法」でいくつかの項目を設定します。

トレーニング方法

• Dataset : 先ほど作成したデータセット
• Objective : 実行するタスク(今回は住宅価格の数値予測なのでRegression(回帰)を使用)
• Model training metohd: 今回はAutoMLを使用


次の「モデルの詳細」でトレーニングの作成と目的変数（成長予測で欲しい値）の設定を行います。

モデルの詳細

今回は新たに作成するもののため、「新しいモデルのトレーニング」を選択します。 Target columnでは、目的変数となる列名を選択します。 今回は「median_house_value」としています。 「Export test dataset to BigQuery」にチェックを入れると、テストデータをBigQueryに保存しておくことも可能です。今回は使わないのでチェック無しで行きます。



トレーニングオプション

「トレーニングオプション」では説明変数（列名）に関する設定を行います。 各列の項目にチェックを入れることで、その列を利用します



コンピューティングと料金

最後に「コンピューティングと料金」で最大でどのくらい学習を行うかの設定をします。
ここで設定した値が最大で発生する料金となります。
まだ学習できる余地があってもここで決められたノード時間で処理を中断させることで結果とコストのトレードオフをユーザが設定できます。
この設定は"最大"ノード時間となっています。
「早期停止を有効にする」オプションを有効にすることで、これ以上の向上が見込めないと判断された場合は途中で処理を終了することが可能なため、余分なコストは発生しません。


このノード時間と言うものは内部の単位なので、実際の処理にかかる時間を明記するわけではありません。
この場合だと一時間以内でトレーニングを終了してください。と言う指示ではないのでご注意ください。
自分がやった時はこのカリフォルニアのCSVデータ（約2万行）を1ノードで大体二時間くらいかかりました。
ここで「トレーニング開始」を押すと学習が実行されますが、結構時間かかるのでしばらくは他の作業をするかひたすら待ちます。
学習が完了したらメールでお知らせが届きますので、ご安心を。
こちらの学習が終了するとサイドバーの「Model Registry」に学習モデルが登録されるのでそちらから確認できます。

４）学習済みモデルを使ってエンドポイントの作成を行う。

エンドポイントの作成では、REST APIでリクエストが可能なインスタンスを立ち上げてリアルタイムに推論する仕組みを提供します。
要はここを設定することで自分のローカル環境からNode.jsでAPIを叩けるようになるわけです。

エンドポイントの作成

メニューのエンドポイントから「エンドポイントの作成」を選択します。



エンドポイントの定義

「エンドポイントの定義」ではエンドポイント名を指定します。
ここは任意のエンドポイント名を指定してください。
今回は「automl_endpoint」としております。



モデル設定

「モデル設定」ではこのエンドポイントで利用するモデルや動作環境となるコンピューティングリソースに関する設定を行います。 「モデルを追加」で利用するモデルとそのバージョンをModel Registryにある項目の中から選択します。



コンピューティングリソース

「コンピューティングリソース」ではこのモデルで利用するマシンのスペックを指定できます。 トラフィックに応じてオートスケールさせる機能もあるため、最大ノード数を指定することも可能です。



ロギング

「ロギング」はログ出力の設定となります。

・アクセスロギングとは...
タイムスタンプやレイテンシなどエンドポイントへのリクエストに関する情報を出力する
・コンテナロギングとは...
コンテナ内の処理で標準出力や標準エラー出力に出力したものを対象にして出力する。カスタムコンテナを利用する際などに
利用できます。


モデルのモニタリング

「モデルのモニタリング」は期待通りに動作しているか確認し、閾値以上の変化が発生している場合にアラートを出す設定ができます。
今回は使用しませんのでこちらをクリックしてオフ（灰色）にしておきます。



デプロイ

全ての設定を終えて「作成」を選択すると、エンドポイントのデプロイが開始されます。
デプロイ完了までは数分程度の時間がかかるので、少し待ちましょう。
デプロイが完了すればリクエストを受け付ける状態にあるのでAPIを叩いてみましょう！!
ここにエンドポイントが表示されステータスが完了になれば準備完了です。



５）Node.jsでエンドポイントを叩いてデータを取得する。

さあ次はNode.js側の処理に移りたいと思います。
まずは自分のPCの作業フォルダの中にフォルダを作成し、

npm initコマンドでpackage.jsonを作成してください。
そして作業用フォルダに移動しターミナルから今回使用するパッケージをインストールします。
・Node.jsのrequestモジュール
APIを叩く際に使用します。axiosとか別に何でもいいです。
npm install request
・dotenv
一応環境変数（プライベートな値）は隠しておきたいので入れておきます。
npm i dotenv
準備が出来ましたら、さっそくエンドポイントを叩きたい所ですが、この状態だとまだエンドポイントへはアクセスできません。
Google Cloudで作成したアクセスポイントを叩くには、アクセストークンを取得する必要があります。
アクセストークンとは、自分だけがAPIにアクセス出来る鍵のようなものです。まずこちらを取得する必要があります。

アクセストークンの取得

アクセストークンを取得する方法ですが、その前に自分のパソコンに「gcloud CLI」をインストールする必要があります。 「gcloud CLI」とはローカル（自分のPC上）のターミナルからGoogle Cloudに色んな指示出しができるようになるツールです。 公式にダウンロードの方法が載っていますが、macの方はhomebrewで入れても良いかもしれません。（自分はhomebrewで入れました） まあどっちでやっても結果は同じなのでお好みでどうぞ！

・公式
https://cloud.google.com/sdk/docs/install?hl=JA
・homebrew版

brew install --cask google-cloud-sdk

無事gcloud CLI(google-cloud-sdk)を入れることができたら今度はg cloudコマンドをパソコンで使えるように設定していきます。
お使いのパソコンのシェル設定ファイル（.bashrcとか.zshrc）に下記を追記します。
隠しファイルなのでmacの方はcommand+shift+.で表示させることができます。

source '/usr/local/Caskroom/google-cloud-sdk/latest/google-cloud-sdk/path.bash.inc'
source '/usr/local/Caskroom/google-cloud-sdk/latest/google-cloud-sdk/completion.bash.inc'

末尾のbash.incはzshの方はzshに変更してください。
これで gcloud コマンドが使えるようになりました。
最後にgcloud --versionコマンドでgcloudのバージョンを確認します。
以下のように表示されれば無事設定完了です。

サービスアカウントのキーを発行

「サービスアカウント」とは個々のエンドユーザーではなく、アプリケーションや仮想マシン（VM）に属している特別な Google アカウントです。
今回であればVertex AIがサービスアカウントに当たります。
サービスアカウントの確認方法は、サイドメニューから「IAMと管理」→「サービスアカウント」になります。

こちらの「メール」の値は後で必要になりますのでメモっておきましょう。

Google Cloud SDKでコマンドを実行

権限がオーナーでないと出来ないので下記コマンドで権限をオーナーにします。（元からオーナーの方は不要です。そこまでの権限を与えられてない人は後で変更しておきましょう。）

gcloud projects add-iam-policy-binding [プロジェクトID] --member="serviceAccount:[サービスアカウント]" --role="roles/owner"
こちらの[プロジェクトID]はGoogle Cloudヘッダーから現在のプロジェクトをクリックすると確認できます。
[サービスアカウント]の所は先程上記で確認した「メール」の部分の値を入れてください。
権限がオーナーになりましたら、キーファイルをダウンロードしてきます。
gcloud iam service-accounts keys create [キーのファイル名].json --iam-account=[サービスアカウント]
[キーのファイル名]は任意の名前を付けることができます。
自分のパソコンにダウンロードされるファイル名がこちらに当たります。
ダウンロード出来ましたら、作成したjsonファイルを環境変数に登録します。(bashrcかzshrc）
export GOOGLE_APPLICATION_CREDENTIALS="ファイルまでのパス/取得してきたキーのファイル名.json"

アクセストークン発行

ここまで出来ましたら後は、下記コマンドでアクセストークンを取得できます！

gcloud auth application-default print-access-token

Node.jsでAPIを叩く

さあ準備が整いましたのでNode.jsでエンドポイントからデータを取得していきます。 作業フォルダでjsファイルと.envファイルを作成し、jsファイルに下記を記述します。

const request = require("request"); //APIFetchLibrary
require("dotenv").config(); //envLibrary

// エンドポイントをデプロイしたリージョン
const REGION = process.env.REGION;

// 現在選択しているプロジェクトID
const PROJECT_ID = process.env.PROJECT_ID;

// 作成されたエンドポイントのID
const ENDPOINT_ID = process.env.ENDPOINT_ID;

一つずつ見ていきます。
上二行は今回使うライブラリのインポートになります。
下3つですが、envファイルに置いたプライベートな値を定数に代入しています。
・エンドポイントをデプロイしたリージョンですが、サイドメニューからエンドポイントを選択し、テーブルから確認することができます。
・作成されたエンドポイントのIDも同じ場所で確認可能です。
・現在選択しているプロジェクトIDはキーファイルをダウンロードした時に確認した値と同じものになります。
上記が出来たら次はAPIを叩く処理を記述していきます。

try {
  request.post(
    {
      uri: `https://${REGION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${REGION}/endpoints/${ENDPOINT_ID}:predict`,
      headers: {
        "Content-Type": "application/json",
        authorization: `Bearer ${process.env.TOKEN}`,
      },
      json: {
        instances: [
          {
            longitude: "-122.24",
            latitude: "37.85",
            housing_median_age: "52",
            total_rooms: "1467",
            total_bedrooms: "190",
            population: "496",
            households: "177",
            median_income: "7.2574",
            median_house_value: "352100",
            ocean_proximity: "NEAR BAY",
          },
        ],
      },
    },
    (err, res, data) => {
      console.log(data);
    }
  );
} catch (error) {
  console.log(error);
}

Node.jsのrequestModuleを使ってエンドポイントを叩いています。
TryCatch文でAPIが正常に走らなかった時の例外処理を記述し、tryの中にrequestの記述を書いています。
「uri」にエンドポイントのURLを指定していますが、ここで上記で定数に代入した値を入れています。
「headers」には上記で取得したアクセストークンを指定しています。
node ファイル名.jsで以下のような結果が返ってくれば成功です。

{
  "predictions": [
    {
      "upper_bound": 463628.5625,
      "value": 386459.125,
      "lower_bound": 15578.5302734375
    }
  ],
  ... (利用したモデルに関する情報が続く)
}

もしここで403エラーになる場合は作成したサービスアカウントに正しい権限が付与されていない可能性が挙げられます（自分の環境ではなりました）
なので、サイドバーから「IAMと管理」→「IAM」でロールを以下のように変更してください。
「 Automl Tutorial Vertex AI サービス エージェント」の権限であれば正常にリクエストを受け付けられると思います。
※もしダメな場合は一旦オーナーにしてしまうのもありかもです。
ただ最適な権限ではないため正しくエンドポイントが叩けた後で修正する必要があります。

ここまででエンドポイントをNode.jsで叩く処理は終了です。最後に後片付けをして料金がこれ以上かからないように設定しましょう！

６）後片付け。

このままモデルをデプロイした状態にしておくと永続的に金額が発生してしまうので、後片付けをします。
まずサイドバーから「ModelRegistry」を選択し、ページ上部の「デプロイとテスト」タブを選択して画面右側の縦に3点のアイコンを選択し、「モデルのデプロイ解除」を選択します。

確認をクリックしてモデルがデプロイ解除されたことを確認します。
次にエンドポイントを削除します。サイドバーの「エンドポイント」をクリックしこちらも3点アイコンから削除します。

画像では見切れてしまっていますが、右に行くと3点アイコンが出てきますのでそちらで削除します。

おわりに

以上がVertexAIを使用しNode.jsでエンドポイントを叩いて情報を取得するまでの全行程になります。
色々ググリながらやったので結構時間掛かりましたが、GCPに慣れてる人ならサクッと短時間で出来るんじゃないかと思います。
機械学習に触れてみてとても面白い経験だったので、もっと造詣を深めてマスターしていきたいです！
それでは！

参考