Cloud Spanner エミュレータをコンテナ化してみた

Cloud Spanner エミュレータ
https://cloud.google.com/spanner/docs/emulator?hl=ja
これをコンテナ化して、別のコンテナからアクセスできることを試します。

環境

Windows 10 Pro
Docker for Windows（Version：2.2.0.5、Engine：19.03.08）
Kubernetesを有効にする（v1.15.5）

Windowsのコマンドプロンプトで設定切替しておく

kubectl config use-context docker-for-desktop

私はコンテナレジストリにGCPのContainer Registryを使いました。
DockerのRegistryでもできると思います。
https://docs.docker.com/registry/

Spannerコンテナを作る

まずファイルを準備

gcloud-spanner-emulator/
 ┣ config/
 ┃ ┣ startup.sh
 ┃ ┣ spanner_instance.sh
 ┃ ┗ test.sql
 ┣ spanner-cli
 ┗ Dockerfile

startup.sh

コンテナ起動時に実行させるシェルです。

#!/bin/sh

gcloud components install beta --quiet
gcloud components update --quiet
gcloud beta emulators spanner start

spanner_instance.sh

コンテナ起動後に実行させるシェルです。
Spannerインスタンスの作成とテスト用のDB・テーブル作成を行います。
インスタンス名：test-instance
DB名：test-database

#!/bin/sh

sleep 60
gcloud config configurations create emulator
gcloud config set auth/disable_credentials true
gcloud config set project [your project name]
gcloud config set api_endpoint_overrides/spanner http://localhost:9020/
gcloud spanner instances create test-instance --config=emulator-config --description="Test Instance" --nodes=1
gcloud spanner databases create test-database --instance=test-instance
spanner-cli -p [your project name] -i test-instance -d test-database -f /config/test.sql

spannerが使える状態になるのを待つよい方法が思いつかなかったので
とりあえず sleep 60 で待つようにしました。

test.sql

テスト用のSQLです。テーブル作成とデータ挿入を試します。
ここにアプリケーション開発に必要なテーブルとデータを作成するためのSQL一式書いておけば
コンテナ起動するたびに毎回手動でデータ登録しないでよくなる…はず。

CREATE TABLE test (id INT64 NOT NULL,text STRING(64)) PRIMARY KEY (id);
INSERT INTO test(id, text)VALUES(1, 'text') ;

spanner-cli

ここから拾ってくる。
https://github.com/cloudspannerecosystem/spanner-cli
DBの接続して対話式で操作ができます。
アプリケーションからの接続には必要ありませんが、テストする際に便利です。

Dockerfile

FROM google/cloud-sdk:slim

ENV DEBIAN_FRONTEND noninteractive
ENV DEBCONF_NOWARNINGS yes

RUN apt-get update \
    && apt-get install -y google-cloud-sdk google-cloud-sdk-spanner-emulator

COPY spanner-cli /usr/local/bin/spanner-cli
ADD config /config
RUN chmod +x /usr/local/bin/spanner-cli \
    && chmod +x /config/startup.sh \
    && chmod +x /config/spanner_instance.sh

CMD ["/config/startup.sh"]

Container Registryに登録

Dockerfileがあるディレクトリで以下のコマンドを実行する。

# GCP
gcloud builds submit --tag=gcr.io/[your project name]/gcloud-spanner-emulator .

# Docker Registry
docker image tag gcloud-spanner-emulator:latest localhost:5000/gcloud-spanner-emulator
docker push localhost:5000/gcloud-spanner-emulator

接続テスト用のGoコンテナを作る

Dockerfile

FROM google/cloud-sdk:slim

ENV DEBIAN_FRONTEND noninteractive
ENV DEBCONF_NOWARNINGS yes
ENV GOPATH=/go

RUN apt-get update \
    && apt-get install -y --no-install-recommends gcc g++ make \
    && apt-get install -y vim golang google-cloud-sdk \
    && apt-get purge -y --auto-remove gcc g++ make

Container Registryに登録

Dockerfileがあるディレクトリで以下のコマンドを実行する。

# GCP
gcloud builds submit --tag=gcr.io/[your project name]/gke-golang .

# Docker Registry
docker image tag golang:latest localhost:5000/gke-golang
docker push localhost:5000/gke-golang

kubernetesでコンテナを起動する

ファイル一式作成できたらkubernetesでコンテナを起動します。
KubernetesのPodには複数のコンテナを入れることができるので、1つPodにGoとSpannerのコンテナをいれてしまいます。
nginxとかmysqlとかnodeとか必要なものを全部突っ込むことも可能です。
docker-compose的な使い方？になるのかな。
Spannerコンテナには localhost:9010 で接続できます。

image、hostPath、default-tokenは個人の環境に合わせて書き換えてください。

apiVersion: v1
kind: Pod
metadata:
  name: spanner-test
spec:
  imagePullSecrets:
    - name: "gcp-gcrio"
  volumes:
    - name: spanner-config
      hostPath:
        path: /host_mnt/d/docker/gcloud-spanner-emulator/config/
        type: Directory
    - name: default-token-qxc8g
      secret:
        secretName: default-token-qxc8g
        defaultMode: 420
  containers:
    - name: golang
      image: 'gcr.io/[your project name]/gke-golang:latest'
      ports:
        - name: golang
          containerPort: 8081
          protocol: TCP
      env:
        - name: SPANNER_EMULATOR_HOST
          value: 'localhost:9010'
      imagePullPolicy: Always
      securityContext:
        capabilities:
          add:
            - SYS_PTRACE
      stdin: true
      tty: true
    - name: spanner
      image: 'gcr.io/[your project name]/gcloud-spanner-emulator:latest'
      ports:
        - name: spanner
          containerPort: 9010
          protocol: TCP
        - name: spanner-rest
          containerPort: 9020
          protocol: TCP
      env:
        - name: SPANNER_EMULATOR_HOST
          value: 'localhost:9010'
      volumeMounts:
        - name: spanner-config
          mountPath: /etc/spanner/
      lifecycle:
        postStart:
          exec:
            command:
              - /bin/sh
              - '-c'
              - /etc/spanner/spanner_instance.sh
      imagePullPolicy: Always
      securityContext:
        capabilities:
          add:
            - SYS_PTRACE
      stdin: true
      tty: true

kubernetesダッシュボード

インストール＆起動

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.1/aio/deploy/recommended.yaml
kubectl proxy

ブラウザで以下のURLにアクセス

http://localhost:8001/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/#/login

トークンが必要なのでsecretを調べて取得

# kubernetes-dashboard-token-xxxxxという名前が存在するので調べる
kubectl -n kubernetes-dashboard get secret

# 調べた名前に差し替えて実行
kubectl -n kubernetes-dashboard describe secret kubernetes-dashboard-token-xxxxx

token: に表示される文字列をコピーしてkubernetesダッシュボードにログインする

左メニューから「ポッド」を開く

右上の「ポッドで実行する」ボタンを押す

シェルが開くのでここで作業する。
プルダウンで他コンテナのシェルに切り替えできます。

公式ドキュメントのサンプルでDBとテーブル作成をテスト
https://cloud.google.com/spanner/docs/getting-started/go/

$ export GOPATH=/go

$ go get -u github.com/GoogleCloudPlatform/golang-samples/spanner/...

$ export GCLOUD_PROJECT=[MY_PROJECT_ID]

$ cd $GOPATH/src/github.com/GoogleCloudPlatform/golang-samples/spanner/spanner_snippets

$ go run snippet.go createdatabase projects/$GCLOUD_PROJECT/instances/test-instance/databases/example-db
Created database [projects/[your project name]/instances/test-instance/databases/example-db]

$ go run snippet.go dmlwrite projects/$GCLOUD_PROJECT/instances/test-instance/databases/example-db
4 record(s) inserted.

プルダウンでspannerコンテナに切り替えてデータを確認する。

$ spanner-cli -p $GCLOUD_PROJECT -i test-instance -d example-db
Connected.
spanner> show tables;
+-----------------------+
| Tables_in_example-db2 |
+-----------------------+
| Singers               |
| Albums                |
+-----------------------+
2 rows in set (0.00 sec)

spanner> select * From Singers;
+----------+------------+----------+------------+
| SingerId | FirstName  | LastName | SingerInfo |
+----------+------------+----------+------------+
| 13       | Russell    | Morales  | NULL       |
| 15       | Dylan      | Shaw     | NULL       |
| 12       | Melissa    | Garcia   | NULL       |
| 14       | Jacqueline | Long     | NULL       |
+----------+------------+----------+------------+
4 rows in set (214.381us)

goとspannerを別々のコンテナにした状態で使えることが確認できました。
まだベータ版ですし制約事項もあるので開発環境にするのは難しいかもしれませんね。