GKEでConcourseを使うには #GoogleCloud

概要

ConcourseをGKEで動かすには注意すべき点があります。
インストール自体はhelmのchartsを使用すると、コマンド一つで完了しとても簡単です。
しかしResourseを登録しJobを動かすと、さまざまなエラーが立ちはだかります。

これまで私が踏んできたGKEでConcourseを使うためのハマリポイントについて説明します。

環境

Kubernetes(GKE): v1.9.2
Concourse: v3.9.0
COS: v4.4.86+

ハマリポイント

NodePoolのイメージ選択

必須ではないですがイメージタイプは標準のCOSではなくUbuntuが使用することがベターです（2018-02-22時点）。
このIssueで報告されていますが、overlayとbrtfsがCOSでは使用できないためです。

`concourse.baggageclaimDriver`の選択

イメージタイプの選択により設定が変わります。
Ubuntuであればnaive、btrfs、overlayが動作します。
2018-02-21時点ではoverlayがデフォルト値となっており、とりあえず試すにはoverlayで問題ありません。

ただしv3.9.0ではbtrfsの動作がfixされているため、今後はbtrfsがデフォルト値に戻る可能性があります。

COSで使用できるのはnaiveで、その他を選択するとエラーが発生します。

エラー内容の例

{"error":"failed to create btrfs filesystem: exit status 32"}}

runc run: exit status 1:
container_linux.go:348: starting container process caused
process_linux.go:402: container init caused
rootfs_linux.go:58: mounting "/concourse-work-dir/3.9.0/assets/bin/init" to rootfs "/concourse-work-dir/volumes/live/{id}/volume/rootfs" at "/concourse-work-dir/volumes/live/{id}/volume/rootfs/tmp/garden-init" caused
"open /concourse-work-dir/volumes/live/{id}/volume/rootfs/tmp/garden-init: permission denied"

MTUの設定を変更する

変更しなくても基本的な動作はするので、一番ハマった場所です。

Concourseのコンテナにはgardenが使用されており、MTUのデフォルト値は1500になっています。
しかしGCPのMTUは1440であるため、そのまま起動するとネットワーク遅延、パケットロスが生じます。
GKEではない場合もConcourseの処理が遅いと感じたら、MTUの設定を確認すると良いと思います。

試してみる（おまけ）

helmのchartsを使った検証手順です。

事前にインストールしておくもの

gcloud
kubectl
helm
fly

# クラスター作成
local$ gcloud beta container --project "xxx" \
  clusters create "devops-cluster" \
  --zone "asia-northeast1-a" \
  --image-type "UBUNTU" \
  --username "admin" \
  --cluster-version "1.9.2-gke.1" \
  --machine-type "n1-highcpu-8" \
  --disk-size "100" \
  --scopes "https://www.googleapis.com/auth/cloud-platform" \
  --num-nodes "1" \
  --network "default"

# kubectlの操作クラスターを設定
local$ gcloud container clusters get-credentials devops-cluster --project "xxx"

# Concourse用のRBAC設定作成
local$ cat > tiller.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: tiller
  namespace: kube-system
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: tiller-clusterrolebinding
subjects:
- kind: ServiceAccount
  name: tiller
  namespace: kube-system
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: ""

# RBAC適用
local$ kubectl apply -f tiller.yaml

# helm初期化
local$ helm init --service-account tiller

# インストール完了しているか確認
local$ helm version

# マニフェストをダウンロード
local$ helm fetch --untar stable/concourse

# パッチ作成
local$ cat > mtu.patch
--- concourse/templates/worker-statefulset.yaml.bk  2018-02-22 11:14:39.000000000 +0900
+++ concourse/templates/worker-statefulset.yaml 2018-02-22 11:13:23.000000000 +0900
@@ -57,6 +57,8 @@
                   - "-c"
                   - "concourse retire-worker --name=${HOSTNAME}"
           env:
+            - name: CONCOURSE_GARDEN_MTU
+              value: "1440"
             - name: CONCOURSE_TSA_HOST
               valueFrom:
                 configMapKeyRef:

# パッチ適用
local patch -p0 < mtu.patch

# Concourseインストール
local$ helm install \
  --set=imageTag=3.9.0,concourse.baggageclaimDriver=overlay,web.service.type=LoadBalancer,worker.replicas=1 \
  --name concourse \
  ./concourse

# EXTERNAL-IPが配布されるまで待つ
local$ kubectl get svc concourse-web -w
NAME            TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)             AGE
concourse-web   ClusterIP   10.3.245.140   xxx.xxx.xxx.xxx        8080/TCP,2222/TCP   34s

# ログインする
# ipass=concourse:concourse
local$ fly -t test login --concourse-url http://xxx.xxx.xxx.xxx:8080

# タスクを作成
local$ cat > run.yaml
platform: linux
image_resource:
  type: docker-image
  source: {repository: busybox}
run:
  path: sh
  args:
  - -ec
  - |
    echo Welcome concourse!!

# タスクを実行
local$ fly -t test execute -c run.yaml

最後に

GKEに関連したConcourseのハマリポイントは以上です。
インストールしたけど、動作しないのでとりあえず放置……という方の助けになれば!

その他にもJOB定義や運用していく際のハマリポイントをまとめたのでどぞ！

GKEでConcourseを使うには

概要

環境