GitLab と AKS クラスタの連携 #Azure

概要

GitLab には Kubernetes 統合機能があり、プロジェクト・グループ・インスタンスの各レベルで Kubernetes クラスタを連携させることで CI/CD や DevOps に便利な環境を簡単に構築できます。

GitLab には連携する Kubernetes クラスタをクラウドサービスで新規作成する機能がありますが、 2020 年 2 月リリースの GitLab 12.8 の時点ではこの機能は GKE (GCP) または EKS (AWS) にしか対応していません。AKS (Azure) を含むそれ以外のサービスでは Kubernetes クラスタを自分で作ってから GitLab に手動で追加することになります。

これはドキュメントに詳しく説明されていますが、人間に出力の一部を拾ってコピペさせるような間違いやすい手順が気になったので、 kubectl -o jsonpath を駆使して何も考えずに欲しい結果が得られるコマンドに書き直してまとめてみました。

また AKS のクラスタ作成から GitLab への追加までを一度に行える Terraform スクリプトを作りました。これを使うと GitLab + Kubernetes の環境を作ったり消したりするのが簡単にできるようになります。

既存 Kubernetes クラスタの追加

GitLab に既存 Kubernetes クラスタを追加するには、プロジェクトやグループで緑色の「Add Kubernetes cluster」ボタンを押した後に「Add existing cluster」タブを選択し、フォームに必要な情報を入力します。

フォームの入力内容は次のとおりです。前提条件として追加する Kubernetes クラスタに管理者権限があり、Bash または互換のシェルで kubectl コマンドが使用できる必要があります。

Kubernetes cluster name
- 任意の名前を入力します。
API URL
- 次のコマンドで表示される URL を入力します。

コマンド

kubectl config view --minify -o jsonpath="{.clusters[0].cluster.server}" && echo

出力例

https://k8stest-4dafbbc7.hcp.japaneast.azmk8s.io:443

CA certificates
- 次の 2 つのコマンドで PEM 形式の証明書が表示されます。テキスト全体をフォームに入力します。

コマンド

secret=$(kubectl get sa default -o jsonpath="{.secrets[0].name}")
kubectl get secret $secret -o jsonpath="{.data.ca\\.crt}" | base64 -D

出力例

Token
- 最初に kube-system ネームスペースで cluster-admin 権限を持つサービスアカウントを作る必要があります。次のコマンドで gitlab-admin.yaml を読み込ませることで gitlab-admin という名前のサービスアカウントを作成できます。

コマンド

kubectl create -f https://gitlab.com/yaegashi/gitlab-k8s/-/raw/master/resources/gitlab-admin.yaml

- 続いて次の 2 つのコマンドでトークンが表示されますので、それをフォームに入力します。

コマンド

secret=$(kubectl -n kube-system get sa gitlab-admin -o jsonpath="{.secrets[0].name}")
kubectl -n kube-system get secret $secret -o jsonpath="{.data.token}" | base64 -D && echo

出力例(1行のテキスト)

eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJnaXRsYWItYWRtaW4tdG9rZW4td2h3Y3giLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZ2l0bGFiLWFkbWluIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiNzc4M2ExMzktNTYzYi0xMWVhLTlmYzItY2U1ZThmZjBlYjE2Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmdpdGxhYi1hZG1pbiJ9.JCpGWQbJY4MAAYzYath8B0BEpZsOnqO_UyG5S3b-w6Sd_MbVhIdPjgEbDlFF96f6uNH49Omc9eh8-srlC2HElWzBesO8d-ue-cgtg9Xt_ALKiPK2HboBVEhRZ2uOVxGwjNIFZgJeR4NZU5IUOqygiT_I0LylVQ0MZ_F62ffHbUAn2BbjuJWIjPMBF7sllF1u7sVEqMQKsCjkU8YrekuTJ31JWPsglm0iBcG3U4igwxiFkjzzwFjkianh2cBIut-4AYk1UKF2L2NpORXhjKMVIqPFNldcFBZBH_A4YfLuUl4EUU5bvyM95CX5zL9EiaPlYSVTVyeOama1HyhWFdhbIhWlCfAJVgEsunZYE2zXizUQ0z9SMgqq9bgYB6VyPhV82nry-0CpxjrViwA6JafC7SPoXt8YnvnCWNNYrC_BpMDbP1OBWpC5djfofA4OAeCWNBtjNSf3Zbu9uAPUOQKST3ZLw4gR7anPNtE0rXgxtsTa4sgs0AZ-YrJNM4387tQeWePJ2vzg_97CLlZpOxuKlDh6k1PZLU-_wZmccjOi5-xpN1jqg6k0KH2yJUwn1X9Uq9uk1F1NiG8skjVwBDIogFvyERlaeYhGFkG_6NZe2e8_s9xa673LrIw8Bn-N93Sem38QhL-gfAbNhqgWxwL9A_nM4OXI_n6flTKEmSncM_8

RBAC-enabled cluster
- 有効な場合、クラスタの RBAC により権限管理します。
GitLab-managed cluster
- 有効な場合、GitLab がクラスタのネームスペースやサービスアカウントを作成します。
Project namespace prefix (optional, unique)
- GitLab がクラスタに作成するネームスペースのプレフィクスを指定します。

Terraform による AKS クラスタの作成と GitLab プロジェクトへの追加

次の場所に Terraform スクリプト一式をまとめていますので参考にしてください。

これを適用すると、次のリソースを自動的に作成します。

Azure AD (sp.tf)
- アプリケーション (azuread_application)
- サービスプリンシパル (azuread_service_principal)
- サービスプリンシパルパスワード (azuread_service_principal_password)
Azure RM (aks.tf)
- リソースグループ (azurerm_resource_group)
- AKS クラスタ (azurerm_kubernetes_cluster)
AKS クラスタ (k8s.tf)
- gitlab-admin サービスアカウント (kubernetes_service_account)
- gitlab-admin ロールバインディング (kubernetes_cluster_role_binding)
- gitlab-admin トークン (kubernetes_secret)
GitLab (gitlab.tf)
- 個人プロジェクト (gitlab_project)
- 既存 Kubernetes クラスタのプロジェクト連携設定 (gitlab_project_cluster)

これを実際に使うには、次の手順のようにリポジトリをクローンし、 terraform.tfvars ファイルの変数定義を調整して terraform を実行します。

$ git clone https://gitlab.com/yaegashi/gitlab-k8s
$ cd gitlab-k8s/terrafform/aks1
$ cp terraform.tfvars.sample terraform.tfvars
$ code terraform.tfvars
$ terraform init
$ terraform plan -var-file=terraform.tfvars
$ terraform apply  -var-file=terraform.tfvars

なお、事前に Azure CLI および GitLab に対して次のように認証しておく必要があります。

AKS を作成するテナント・サブスクリプションに Azure CLI でログイン済みであること
- tenant_id subscription_id に設定
GitLab でスコープが api の Personal Access Token を発行していること
- gitlab_token に設定

まとめ

GitLab と既存 Kubernetes クラスタの連携において、わかりにくい操作を削減する改善された手順書と、環境の作成・後始末が簡単にできる Terraform スクリプトを紹介しました。

従来より、セルフホストの GitLab インスタンスと AKS を活用して様々な CI/CD やインフラ管理の自動化をやってきましたが、現在は内部ユーザー向けの小規模な Web サービスの DevOps を GitLab でやっていくことを検討しています。

実をいうと Terraform は今月からいじり始めたばかりの素人なのですが、今回の使い捨て可能な検証環境を構築する中で多くのメリットを感じており、これからも大いに活用していこうと思いました。