TL;DR;
- クラウド上でスクレイピングを定期的に実行したかった
- Google Cloud FunctionsとSchedulerを使えば行けそうだった(お金もかからなさそう)
- Google Cloud Functionsのデプロイが面倒だったので、GitHub Actionsで自動化したかった
- GCP初心者なもので、特に認証周りで引っかかったので、ここを中心に流れをまとめる(GCPに詳しい方は他の方の良い記事(例えばこちら)があります)
- google-github-actions/deploy-cloud-functionsを使ってみる。
(GitHub Actionsでもcron実行できるみたいだったけど、規約的にいいのかコワかったのでやめました…)
大体の流れ
- GCPにプロジェクト作成
- 必用な物(Compute Engine API, Cloud Build)を有効化
- (Cloud Functions 管理者権限付)サービスアカウントを追加
- ロールの追加。(参考)
- 鍵の設定
- GitHub Actionsの設定
- コードをPush!!
以下、上記それぞれを詳しく書きます
1. GCPにプロジェクト作成
GCPにアクセスし,下図のような手順で新しいプロジェクトを作成します.
とりあえずプロジェクト名は"My Project"としました.
すると作成したプロジェクトを選択できるようになります。
2. 必要なものを有効化
2.1 Compute Engine API:
ここにアクセスして、有効化する。結構時間かかる。
2.1 Cloud Build:
ここにアクセスして有効化。
3. (Cloud Functions 管理者権限付)サービスアカウントを追加
1.で作成したGCPプロジェクトにアクセスした後、
ナビゲーションメニュー(左上) ---> IAMと管理 ---> サービスアカウント
にアクセスするとこんな感じの画面になります。
- サービスアカウント名を入力し作成をクリック(gcf-deployとしました)
- すると、下図のような画面になるので、Cloud Functions 管理者 を選択し、一番下の完了ボタンをクリック
ナビゲーションメニュー ---> IAMと管理 ---> IAMにアクセスする。
gcf-deploy@xxxxxxx.iam.gserviceaccont.comが今回作成したサービスアカウントです。
また、xxxxxxxの部分はプロジェクトIDで、xxxxxxx@iam.gserviceaccont.comは自動で作られているメインのアカウントです。
次のステップではこのメインアカウントにロールを一つ追加します。
4. ロールの追加
ひとつ前のステップで確認した、メインアカウントにロールを一つ追加しないと、下記の様なエラーが出ます。
Missing necessary permission iam.serviceAccounts.actAs for $MEMBER on the service account ***@appspot.gserviceaccount.com.
ロールの追加はCloud shellで実行します。
先ほどのページの右上にあるボタンをクリックすると、shellがページ下部に現れます。
ターミナルで下記コマンドを実行します。
(*) xxxxxxxの部分は、1つ前の手順で確認したプロジェクトIDに置き換えてください。
また、サービスアカウント名はgcf-deployとしていますが、違う名前を付けた場合は、適宜置き換えてください。
gcloud iam service-accounts add-iam-policy-binding xxxxxxx@appspot.gserviceaccount.com \
--member='serviceAccount:gcf-deploy@xxxxxxx.iam.gserviceaccount.com' \
--role=roles/iam.serviceAccountUser
5.鍵とプロジェクトIDをリポジトリに登録
5.1. まずは、GCPプロジェクトの鍵を生成しましょう。
再び ナビゲーションメニュー ---> IAMと管理 ---> サービスアカウントにアクセスする。
先に作成していたサービスアカウントの操作列のボタンをクリックし、鍵を管理を選択します。
鍵を追加 ---> 新しいカギを生成を選択すると、鍵情報が詰まったjsonファイルのダウンロードが始まります。
GCP上での作業は以上です!
GitHubでの作業にうつります。
5.2. ダウンロードした鍵をリポジトリに登録する。
まずは新しいリポジトリを作成しましょう。
そして、Settingsタブ ---> Secretsにいきます。
New project secretを押して、下記の2つのsecretを新たに追加します
名前:GCP_CREDENTIALS
内容:ダウンロードしたjsonの中身をコピペ
名前:GCP_PROJECT_ID
内容:jsonの中にあるproject_idをコピペ
6. GitHub Actionsの設定
やっとGitHub Actions用の設定です。
リポジトリのActionsタブに行くと set up a workflow yourself とあるのでクリックします。
下記をコピペします。
(*)discord webhookを使いたかったので、Functions側に渡す新たな環境変数を設定しています。
何か設定したい環境変数があったらここで定義しておくといいです。
(*)複数ある場合はカンマ区切りで書けるようです
name: Deploy Cloud Functions
on:
# Push時に実行
workflow_dispatch:
push:
branches: [master]
jobs:
deploy:
name: Deploy Functions
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v2
- id: deploy
uses: google-github-actions/deploy-cloud-functions@main
with:
## Google Cloud Functions上での名前
name: gcf_actions_template
## runtimeの設定.今回はpythonを指定
runtime: python39
## GCPの鍵.
credentials: ${{ secrets.gcp_credentials }}
## Functionsにデプロイする関数名
entry_point: hello_pubsub
## Regionの指定.指定しないとエラーが出るかも?
region: asia-northeast1
## Schedulerと組み合わせたいので、FunctionsのトリガータイプをPub/Subにする
event_trigger_type: providers/cloud.pubsub/eventTypes/topic.publish
event_trigger_resource: projects/${{ secrets.gcp_project_id }}/topics/my-pubsub-topic
## Functions上の環境変数を指定.
## Discordにメッセージを送りたいのでWebhookを設定。
env_vars: DISCORD_WEBHOOK_URL=${{ secrets.discord }}
右上にあるボタンをクリックして設定ファイルをコミット&プッシュ!
7. コードをPush!!
準備は整いました、上記設定ファイルentry_pointで指定した関数(ここではhello_pubsub)を作成・デバッグして、pushしましょう!
push後リポジトリActionsタブに行くとデプロイが成功したかどうか出ます。
成功していたら、Google Cloud Functionsにアクセスしましょう
(ナビゲーションメニュー ---> Cloud Functions)
いけてる!!