[GCP]CloudBuild + CloudKMS + GitHubでタグプッシュデプロイを実現する

やりたいこと

GoogleCloudBuildを利用
ソースコードはGitHubで管理
GitHubのリポジトリにタグPush→GoogleAppEngineにデプロイ
CloudBuild⇆GitHubのSSH鍵はGoogleKeyManagementServiceを利用

前提

GCP（Google Cloud Platform）のアカウントを所持している
GCPにプロジェクトを作成できる
GitHubのアカウントを所持している
サンプルで利用する言語はGo言語
投稿者の環境はMacOS(intel, Catalina)

サンプルのディレクトリ構成

cloudbuild-helloworld

.
├── .github_cloudbuild.enc
├── .known_hosts
├── submodule # submodule
|   └── submodule_dummy.txt
├── app.yaml
├── cloudbuild.yaml
└── helloworld.go

事前準備

GitHubにリポジトリの作成(private) ※既存のリポジトリを利用する場合はOwner権限が必要
GCPにプロジェクトを作成

Cloud KMS(Cloud Key Management Service API)の設定

APIの有効化
Keyringの作成(後述)
Keyの作成(後述)

App Engine Applicationの作成(今回初めてGAEを使う人)

$ gcloud app create

Please choose the region where you want your App Engine application 
located:

 [1] asia-east2    (supports standard and flexible and search_api)
 [2] asia-northeast1 (supports standard and flexible and search_api)
 [3] asia-northeast2 (supports standard and flexible and search_api)
 [4] asia-northeast3 (supports standard and flexible and search_api)
 [5] asia-south1   (supports standard and flexible and search_api)
 [6] asia-southeast2 (supports standard and flexible and search_api)
 [7] australia-southeast1 (supports standard and flexible and search_api)
 [8] europe-central2 (supports standard and flexible)
 [9] europe-west   (supports standard and flexible and search_api)
 [10] europe-west2  (supports standard and flexible and search_api)
 [11] europe-west3  (supports standard and flexible and search_api)
 [12] europe-west6  (supports standard and flexible and search_api)
 [13] northamerica-northeast1 (supports standard and flexible and search_api)
 [14] southamerica-east1 (supports standard and flexible and search_api)
 [15] us-central    (supports standard and flexible and search_api)
 [16] us-east1      (supports standard and flexible and search_api)
 [17] us-east4      (supports standard and flexible and search_api)
 [18] us-west2      (supports standard and flexible and search_api)
 [19] us-west3      (supports standard and flexible and search_api)
 [20] us-west4      (supports standard and flexible and search_api)
 [21] cancel
Please enter your numeric choice:  3 # 好きなロケーションのインデックスを入力する。この場合はasia-northeast2

Creating App Engine application in project [cloudbuild-qiita] and region [asia-northeast2]....done.                                                                                                                                                    
Success! The app is now created. Please use `gcloud app deploy` to deploy your first app.

App Engine Admin APIの設定

APIの有効化

Cloud Buildの設定

CloudBuildトリガーの作成&GitHubリポジトリの接続

IAM(Cloud Identity and Access Management)の設定

cloudbuild.gserviceaccount.comアカウントへ下記権限の付与
- AppEngineデプロイ担当者：デプロイに必要
- AppEngineサービス管理者：デプロイ後のトラフィック変更に必要
- CloudBuildサービスアカウント：元々付与されている
- クラウドKMS暗号鍵の復号化：GitHubとの連携時KMSを利用する場合には必要
- サービスアカウントユーザー：新しいバージョンをデプロイするために必要, IAMからは追加できず、CloudBuildの設定から有効にする
- ストレージ管理者：GitHubリポジトリのミラーリングに必要

GitHubの設定

Adminロールの設定(CloudBuildの接続に利用するGitHubアカウント)

手順

KMSを利用したGitHubSSH鍵の暗号化(※コードブロック内大文字は自由入力)

1. 意図しないプロジェクトへの接続を防ぐため、config再セット

$ gcloud config set project PROJECT_NAME
(PROJECT_NAMEは連携設定をするプロジェクト名)

2. 暗号鍵のキーリングを作成

$ gcloud kms keyrings create KEYRING \ 
--location LOCATION
(KEYRINGは設定したいkeyringの名称)

example

$ gcloud kms keyrings create github-deploy-keyring \
$ --location global

3. 暗号鍵のキーを作成

$ gcloud kms keys create KEY \
--keyring KEYRING \
--location LOCATION \
--purpose encryption
(KEYは設定したいkeyの名称, KEYRINGは手順2で設定したkeyringの名称, LOCATIONはkeyを保管したいCloudの場所)

example

$ gcloud kms keys create github-key \
--keyring github-deploy-keyring \
--location global \
--purpose encryption

4. SSH鍵の作成

$ cd ~/.ssh
$ ssh-keygen -t ed25519 -C ”your_mail@email.sample”
$ Enter file in which to save the key: id_ed25519
$ Enter passphrase (empty for no passphrase):
$ Enter same passphrase again:

下記メッセージが出れば成功

Your identification has been saved in id_ed25519.
Your public key has been saved in id_ed25519.pub.

5. ssh-agentへの登録

バックグラウンドでssh-agentを開始

$ eval "$(ssh-agent -s)" 
> Agent pid 59566

~/.ssh/configファイルの確認

$ open ~/.ssh/config
> The file /Users/you/.ssh/config does not exist.

上記エラーの時はファイルが存在しないので、ファイルを作成する

$ touch ~/.ssh/config

~/.ssh/config ファイルを開いて今回の接続情報を作成する

~/.ssh/config

Host cloudbuild-qiita  # 好きな名前を設定, 汎用の場合は'*'
  AddKeysToAgent yes
  UseKeychain yes
  IdentityFile ~/.ssh/id_ed25519  # id_ed25519キーの場所と名前がデフォルト以外の場合はここを置き換える

6. SSH 秘密鍵を`ssh-agent`に追加して、パスフレーズをキーチェーンに保存

$ ssh-add -K ~/.ssh/id_ed25519

7. 作成したSSH鍵をGitHubへ登録

公開鍵をクリップボードへコピー

$ pbcopy < id_ed25519.pub

GitHubのプロフィール画像をクリックし、続いてSettingsをクリック
ユーザ設定サイドバーでSSH and GPG keysをクリック
[Add SSH key]をクリック
[Title]フィールドで、新しいキーを説明するラベルを追加
キーを[Key]フィールドに貼り付ける
[Add SSH key]をクリック

8. KMSを利用したSSH鍵の暗号化

$ gcloud kms encrypt \
--key KEY \
--keyring KEYRING \
--location LOCATION \
--plaintext-file id_ed25519 \
--ciphertext-file CIPHERTEXT_FILE
(KEY/KEYRING/LOCATIONは手順3までで設定したもの, CIPHERTEXT_FILEは設定したい名称)

example

$ gcloud kms encrypt \
--key github-key \
--keyring github-deploy-keyring \
--location global \
--plaintext-file id_ed25519 \
--ciphertext-file .github_cloudbuild.enc

9. 暗号化したSSH鍵をプロジェクトフォルダ内に移動させる

$ mv CIPHERTEXT_FILE ~/go/src/github.com/YOUR_PROJECT_DIRECTORY/
(CIPHERTEXT_FILEは手順8で設定した名称、YOUR_PROJECT_DIRECTORYはCloudBuildでデプロイしたいプロジェクトのディレクトリPATH)

example

$ mv .github_cloudbuild.enc ~/go/src/github.com/Rererr/cloudbuild-helloworld/

10.下記コマンドで、プロジェクトフォルダに.known_hostファイルを作成

$ ssh-keyscan -t rsa github.com > ~/go/src/github.com/YOUR_PROJECT_DIRECTORY/.known_hosts

example

$ ssh-keyscan -t rsa github.com > ~/go/src/github.com/Rererr/cloudbuild-helloworld/.known_hosts

11. プロジェクトディレクトリに必要なファイル群の確認

CIPHERTEXT_FILE ex.) .github_cloudbuild.enc
.known_hosts

`cloudbuild.yaml`の設定

SSH鍵の複合化を実行, 複合化したキーを/root/.ssh/id_ed25519へ保存
/root/.ssh/id_ed25519の権限変更
/root/.ssh/configへ接続情報の書き込み
known_hostsの移動
submodule update --initの実行
app deployの実行
最新19バージョンを残し、古いバージョンの削除を実行

cloudbuild.yaml

steps:
  - name: "gcr.io/cloud-builders/gcloud"
    args:
      - --project=$PROJECT_ID
      - kms
      - decrypt
      - --ciphertext-file=.github_cloudbuild.enc
      - --plaintext-file=/root/.ssh/id_ed25519
      - --location=global
      - --keyring=github-deploy-keyring
      - --key=github-key
    volumes:
      - name: "ssh"
        path: /root/.ssh
    id: 'decrypt-ssh'

  - name: "gcr.io/cloud-builders/git"
    entrypoint: "bash"
    args:
      - "-c"
      - |
        chmod 600 /root/.ssh/id_ed25519
        cat <<EOF >/root/.ssh/config
        Hostname github.com
        IdentityFile /root/.ssh/id_ed25519
        EOF
        mv .known_hosts /root/.ssh/known_hosts
    volumes:
      - name: "ssh"
        path: /root/.ssh
    waitFor:
      - 'decrypt-ssh'
    id: 'git-ssh'

 - name: gcr.io/cloud-builders/git
    args: ["submodule", "update", "--init"]
    volumes:
      - name: "ssh"
        path: /root/.ssh
    waitFor:
      - 'git-ssh'
    id: 'git-submodule-update'

  - name: "gcr.io/cloud-builders/gcloud"
    args:
      - "app"
      - "deploy"
      - "--project=$PROJECT_ID"
      - "app.yaml"
    waitFor:
      - 'git-submodule-update'
    timeout: 3600s

  - name: "gcr.io/cloud-builders/gcloud"
    entrypoint: "bash"
    args:
      - "-c"
      - "gcloud app versions list | sort -rk 4,4 | tail -n +20 | awk '{print $2;}' | xargs -I {} gcloud app versions delete {}"

timeout: 3600s

`app.yaml`の記載(本筋じゃないのでruntimeのみ記載)

app.yaml

runtime: go115

`hello.go`の作成(本筋じゃないのでHello, World!を返すだけのHTTP Server)

helloworld.go

package main

import (
        "fmt"
        "log"
        "net/http"
        "os"
)

func main() {
        http.HandleFunc("/", handle)
        port := os.Getenv("PORT")
        if port == "" {
                port = "8080"
        }
        log.Printf("Listening on port %s", port)
        if err := http.ListenAndServe(":"+port, nil); err != nil {
                log.Fatal(err)
        }
}

func handle(w http.ResponseWriter, r *http.Request) {
        if r.URL.Path != "/" {
                http.NotFound(w, r)
                return
        }
        fmt.Fprint(w, "Hello world!")
}

GitHubへタグプッシュ

$ git branch # 念の為現在のブランチの確認
$ git tag dev-2021053001 # tagの作成
$ git push origin dev-2021053001 # tagのpush

CloudBuildでビルド&デプロイができているか確認

AppEngineへのデプロイ確認

Hello world!が表示されていれば成功

後片付け

プロジェクトの削除(今回のために作成したプロジェクトならこれが一番早くて確実)

KMS(プロジェクトを消せないなら)

KMSの課金は、アクティブな鍵に対して行われるので、鍵を非アクティブに変更します

GitHub

今回のために作成したSSH鍵の削除

あと、リポジトリも不要なら消しておきましょう！

`~/.ssh/config`

今回追記した部分は削除しておきましょう

~/.ssh/config　下記部分は削除

Host cloudbuild-qiita
     AddKeysToAgent yes
     UseKeychain yes
     IdentityFile ~/.ssh/id_ed25519

あとがき

思ったよりもめちゃくちゃ長くなりました....
もし不明な点や追記希望などありましたら、コメントや編集リクエストいただけると嬉しいです。

[GCP]CloudBuild + CloudKMS + GitHubでタグプッシュデプロイを実現する

やりたいこと

前提

サンプルのディレクトリ構成

事前準備

Cloud KMS(Cloud Key Management Service API)の設定

App Engine Applicationの作成(今回初めてGAEを使う人)

App Engine Admin APIの設定

Cloud Buildの設定

IAM(Cloud Identity and Access Management)の設定

GitHubの設定

手順

KMSを利用したGitHubSSH鍵の暗号化(※コードブロック内大文字は自由入力)

1. 意図しないプロジェクトへの接続を防ぐため、config再セット

2. 暗号鍵のキーリングを作成

3. 暗号鍵のキーを作成

4. SSH鍵の作成

5. ssh-agentへの登録

6. SSH 秘密鍵をssh-agentに追加して、パスフレーズをキーチェーンに保存

7. 作成したSSH鍵をGitHubへ登録

8. KMSを利用したSSH鍵の暗号化

9. 暗号化したSSH鍵をプロジェクトフォルダ内に移動させる

10.下記コマンドで、プロジェクトフォルダに.known_hostファイルを作成

11. プロジェクトディレクトリに必要なファイル群の確認

cloudbuild.yamlの設定

app.yamlの記載(本筋じゃないのでruntimeのみ記載)

hello.goの作成(本筋じゃないのでHello, World!を返すだけのHTTP Server)

GitHubへタグプッシュ

CloudBuildでビルド&デプロイができているか確認

AppEngineへのデプロイ確認

後片付け

プロジェクトの削除(今回のために作成したプロジェクトならこれが一番早くて確実)

KMS(プロジェクトを消せないなら)

GitHub

~/.ssh/config

あとがき

6. SSH 秘密鍵を`ssh-agent`に追加して、パスフレーズをキーチェーンに保存

`cloudbuild.yaml`の設定

`app.yaml`の記載(本筋じゃないのでruntimeのみ記載)

`hello.go`の作成(本筋じゃないのでHello, World!を返すだけのHTTP Server)

`~/.ssh/config`