最近仕事でGCPを触りはじめ、特にGKEを使ったアプリケーションの構築に興味を持っています。基本的には、まず公式ドキュメントやチュートリアルで理解を深めているのですが、それだけでは分からなかった点があったので、まとめました。
今回は、冗長構成したCloud SQLに対して、GKE上のコンテナから接続する方法を紹介します。一般的に高可用性や負荷分散を目的として、データベースを冗長構成することがあると思います。Cloud SQLの場合、Masterインスタンスに対して、Failover Replicaを作成することで、耐障害性と負荷性能を高める構成をとることができます。GKEからCloud SQLインスタンスに接続するには、Cloud SQL Proxy Docker イメージを使うことが一般的で、単一のCloud SQLインスタンスに接続する方法は、公式ドキュメントにも記載されていますが、複数のインスタンスへの接続設定はなかったため、実際に試した設定をまとめました。

サービス構成

最終的に以下の構成を構築します
GKE
- 接続の検証のために、mysql-clientコンテナを立てます
- Cloud SQLに接続するために、cloudsql-proxyコンテナを立てます
Cloud SQL
- Master, Failover Replica, Read Replicaの3種類があります
- Failover ReplicaはRead Replicaとしても使うことができ、ゾーン障害時にはMasterに昇格します
- 耐障害性と負荷性能を高めるため、Master（write専用）とFailover Replica（read専用）の構成としました

構築手順

Cloud SQLの設定

公式ドキュメントを参考に、Masterインスタンスを作成
- https://cloud.google.com/sql/docs/mysql/create-instance?hl=jaCloud
- 設定オプションを表示＞自動バックアップと高可用性の有効化　からフェイルオーバーレプリカの作成にチェックを入れると、自動でFailover Replicaが生成される

GKEの設定

Cluster作成

公式ドキュメントを参考にClusterを作成
- https://cloud.google.com/container-engine/docs/clusters/operations?hl=ja
今回の構成を作成するにあたっては、zoneは適宜選択してよい
- GPCではデフォルトのVPCネットワークが用意されているので、指定しなければデフォルトのVPCに構築され、ファイヤウォールルールも適用される
- 今回は外部にアプリケーションを公開する想定はないので、ネットワークに関しても気にする必要はない

Cloud SDKインストール

公式ドキュメントを参考にCloud SDKをインストール
- https://cloud.google.com/sdk/?hl=ja
Webブラウザ上のcloud Shellからもgcloudコマンドは使えるが、後続の設定でローカルでの作業が必要になるため、用意しておく
- gcloud initでgcloudコマンドを使用できるようにする

操作するクラスターの指定とkubectlコマンドの取得

以下のコマンドをCloud SDKで実行

$ gcloud config set container/cluster [NAME]
$ gcloud container clusters get-credentials [NAME] --zone=[zone name]
$ gcloud auth application-default login

接続のための認証情報設定

公式ドキュメントを参考に、1. APIを有効にするから 5. シークレットの作成　まで実施
- https://cloud.google.com/sql/docs/mysql/connect-container-engine?hl=ja
コマンドは全てインストールしたCloud SDKで実行する

Dockerイメージのデプロイ

デプロイするイメージは以下の2つ
- mysql-client：接続を確認するためのDockerイメージ
- cloudsql-proxy：Cloud SQL Proxy Docker イメージ　※公式のイメージを使う

mysql-clientのイメージを作成

Dockerfileからイメージを作成する

Dockerfile

FROM mysql

ENTRYPOINT ["tail", "-f", "/dev/null"]

pullしたイメージをContainer registoryにpushする

$ docker tag [image_id] asia.gcr.io/[project_id]/[image]:tag
$ gcloud docker -- push asia.gcr.io/[project_id]/[image]:tag

イメージのデプロイ

GKEにイメージをデプロイする際には、Kubernetesのコマンドを使用する
Kubernetesにはコンテナの集合体であるPodという概念があり、Podを作成するために、以下のyamlファイル（Deployment）を作成する
- cloudsql-proxyの接続先をカンマ区切りで並べ、ポートは違うものにするのがポイント

test-deployment.yaml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: gke-sql-test
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: gke-sql-test
    spec:
      imagePullSecrets:
      - name : gcp-registry-key
      containers:
      - image: asia.gcr.io/[project_id]/[image]:tag
        name: mysql-client
      - image: gcr.io/cloudsql-docker/gce-proxy:1.11
        name: cloudsql-proxy
        command: ["/cloud_sql_proxy", "--dir=/cloudsql",
                  "-instances={Master接続名}=tcp:3306,{Failover Replica接続名}=tcp:3307",
                  "-credential_file=/secrets/cloudsql/credentials.json"]
        volumeMounts:
          - name: cloudsql-instance-credentials
            mountPath: /secrets/cloudsql
            readOnly: true
          - name: ssl-certs
            mountPath: /etc/ssl/certs
          - name: cloudsql
            mountPath: /cloudsql
      volumes:
        - name: cloudsql-instance-credentials
          secret:
            secretName: cloudsql-instance-credentials
        - name: ssl-certs
          hostPath:
            path: /etc/ssl/certs
        - name: cloudsql
          emptyDir:

以下のコマンドを実行する

$ kubectl create -f test-deployment.yaml

以上で設定は終了です。
最後に実際にインスタンスに接続することができるか、mysql-clientコンテナにログインして確認を行いたいと思います。

検証

mysql-clientコンテナにログイン

$ kubectl exec -it gke-sql-test -c mysql-client /bin/bash

mysqlのコマンドで接続を確認する

$ mysql -h 127.0.0.1 -P 3306 -u [user-name] -p
$ mysql -h 127.0.0.1 -P 3307 -u [user-name] -p

冗長構成のCloud SQLとGKEの接続方法