Kubernetes Cluster API Provider vSphereで、vSphere上にKubernetesクラスターを作成します。Getting Stargedを参考にしています。
Cluster API
Cluster APIを使うとKubernetesのAPIを使って宣言的にKubernetesクラスターを作成することができます。クラスターはCRD(Custom Resource Definition)で定義され、マニフェストの編集するだけでKubernetesクラスターに対するノードの追加や削除も行われます。Cluster APIはいくつかのProviderによって、様々なクラウドやオンプレミスの環境にKubernetesクラスターを作成することができます。
準備
必要なもの
- Linuxホスト : Bootstrapingに必要なKuberntes環境をDockerでホストします。
- Docker : kindによりDocker上でBootstrap用のKubernetesを起動します。各種マニフェストファイルの作成にも利用します。
- kind(Kubernetes IN Docker) : Docker上にKubernetesを構築するのに利用します。
- clusterctl : Cluster APIを利用してManagementクラスターを作成するために利用します。
- kubectl
- DHCP : 今回は作成されるKubernetes環境のMaster/NodeはすべてDHCPでIPアドレスを構成しています。
クラスター作成の概要
vSphere上にKubernetes Workload Clusterを作成することがゴールです。
- kindでLinuxホストのDocker上にKubernetesを作成し、kindで作成したLinuxマシン上のKuberntesのCluster APIからvSphere上にManagement用のKubernetes Clusterを作成します。
- Management Clusterを利用して、vSphere上にWorkload Kubernetes Clusterを作成します。
clusterctl
clusterctlコマンドをダウンロードします。今回はv0.4.1を利用しています。(バージョン毎にオプションが変わっているので注意が必要です。)
# wget https://github.com/kubernetes-sigs/cluster-api-provider-vsphere/releases/download/v0.4.1/clusterctl.linux_amd64
# chmod +x clusterctl.linux_amd64
# mv clusterctl.linux_amd64 $PWD/bin/clusterctl
kind
kindコマンドをダウンロードします。今回はv0.5.1を利用しています。
# curl -Lo ./kind https://github.com/kubernetes-sigs/kind/releases/download/v0.5.1/kind-$(uname)-amd64
# chmod +x ./kind
# mv kind $PWD/bin/kind
envファイルの作成
Kubernetesクラスターを作成するターゲットのvSphereに関するパラメーターや、作成する仮想マシンのパラメータをenvvars.txtで指定します。SSH_AUTHORIZED_KEYは作成されるノードにSSHするための公開鍵を指定します。(以下の例では省略しています。)
# vCenter config/credentials
export VSPHERE_SERVER='10.0.0.1' # (required) The vCenter server IP or FQDN
export VSPHERE_USERNAME='viadmin@vmware.local' # (required) The username used to access the remote vSphere endpoint
export VSPHERE_PASSWORD='some-secure-password' # (required) The password used to access the remote vSphere endpoint
# vSphere deployment configs
export VSPHERE_DATACENTER='Datacenter' # (required) The vSphere datacenter to deploy the management cluster on
export VSPHERE_DATASTORE='vsanDatastore' # (required) The vSphere datastore to deploy the management cluster on
export VSPHERE_NETWORK='vm-network-1' # (required) The VM network to deploy the management cluster on
export VSPHERE_RESOURCE_POOL='Resources' # (required) The vSphere resource pool for your VMs
export VSPHERE_FOLDER='vm' # (optional) The VM folder for your VMs, defaults to the root vSphere folder if not set.
export VSPHERE_TEMPLATE='ubuntu-1804-kube-v1.15.3' # (required) The VM template to use for your management cluster.
export VSPHERE_DISK_GIB='50' # (optional) The VM Disk size in GB, defaults to 20 if not set
export VSPHERE_NUM_CPUS='2' # (optional) The # of CPUs for control plane nodes in your management cluster, defaults to 2 if not set
export VSPHERE_MEM_MIB='2048' # (optional) The memory (in MiB) for control plane nodes in your management cluster, defaults to 2048 if not set
export SSH_AUTHORIZED_KEY='ssh-rsa AAAAB3N...' # (optional) The public ssh authorized key on all machines in this cluster
# Kubernetes configs
export KUBERNETES_VERSION='1.15.3' # (optional) The Kubernetes version to use, defaults to 1.13.6
export SERVICE_CIDR='100.64.0.0/13' # (optional) The service CIDR of the management cluster, defaults to "100.64.0.0/13"
export CLUSTER_CIDR='100.96.0.0/11' # (optional) The cluster CIDR of the management cluster, defaults to "100.96.0.0/11"
テンプレート用OVAファイルのデプロイ
クラスター作成時に利用する仮想マシンテンプレートを作成しておく必要があります。ここからインストールするKuberntesバージョン(今回は1.15.3)のOVAファイルをダウンロードして、vSphere上にデプロイします。OVAはCentOS 7ベースのものと、Ubuntu 18.04ベースのものが提供されています。今回はUbuntu 18.04を利用しました。VM名はenvvars.txtのVSPHERE_TEMPLATEに指定した名前にしておきます。また、テンプレートのVMDKのタイプをThickにしておくと作成されるKubernetesクラスターがThickを継承するので必要がなければ、Thinでデプロイすることをお勧めします。
Managemt Clusterの作成
Management Cluster用マニフェストの作成
作成したenvファイルをもとにDockerコンテナを利用してマニフェストファイルを作成します。$PWD/out/management-cluster/配下にマニフェストファイルが作成されます。
# docker run --rm \
-v "$(pwd)":/out \
-v "$(pwd)/envvars.txt":/envvars.txt:ro \
gcr.io/cluster-api-provider-vsphere/release/manifests:v0.4.1 \
-c management-cluster
# ls -l out/management-cluster/
total 132
-rw-r--r-- 1 root root 19828 Sep 4 19:18 addons.yaml
-rw-r--r-- 1 root root 879 Sep 4 19:18 cluster.yaml
-rw-r--r-- 1 root root 1087 Sep 4 19:18 machineset.yaml
-rw-r--r-- 1 root root 774 Sep 4 19:18 machines.yaml
-rw-r--r-- 1 root root 101245 Sep 4 19:18 provider-components.yaml
clusterctlによるMnagement Clusterの作成
clusterctlコマンドを使って作成したマニフェストファイルから、Management Clusterを作成します。
# clusterctl create cluster \
--provider vsphere \
--bootstrap-type kind \
--cluster ./out/management-cluster/cluster.yaml \
--machines ./out/management-cluster/machines.yaml \
--provider-components ./out/management-cluster/provider-components.yaml \
--addon-components ./out/management-cluster/addons.yaml \
--kubeconfig-out ./out/management-cluster/kubeconfig
I0904 19:47:47.988375 23481 createbootstrapcluster.go:27] Preparing bootstrap cluster
I0904 19:48:28.796179 23481 clusterdeployer.go:78] Applying Cluster API stack to bootstrap cluster
I0904 19:48:28.796201 23481 applyclusterapicomponents.go:26] Applying Cluster API Provider Components
I0904 19:48:29.491992 23481 clusterdeployer.go:83] Provisioning target cluster via bootstrap cluster
I0904 19:48:29.497501 23481 applycluster.go:36] Creating cluster object management-cluster in namespace "default"
I0904 19:48:29.505449 23481 clusterdeployer.go:92] Creating control plane machine in namespace "default"
I0904 19:48:29.510339 23481 applymachines.go:36] Creating machines in namespace "default"
I0904 19:51:39.585337 23481 clusterdeployer.go:97] Updating bootstrap cluster object for cluster management-cluster in namespace "default" with control plane endpoint running on machine
I0904 19:51:39.676422 23481 clusterdeployer.go:102] Creating target cluster
I0904 19:51:39.954416 23481 applyaddons.go:25] Applying Addons
I0904 19:51:41.198014 23481 clusterdeployer.go:120] Pivoting Cluster API stack to target cluster
I0904 19:51:41.198058 23481 pivot.go:67] Applying Cluster API Provider Components to Target Cluster
I0904 19:51:42.138461 23481 pivot.go:72] Pivoting Cluster API objects from bootstrap to target cluster.
I0904 19:51:56.363443 23481 clusterdeployer.go:125] Saving provider components to the target cluster
I0904 19:51:56.386356 23481 clusterdeployer.go:133] Updating target cluster object with control plane endpoint running on machine
I0904 19:51:56.416666 23481 clusterdeployer.go:149] Creating node machines in target cluster.
I0904 19:51:56.422778 23481 applymachines.go:36] Creating machines in namespace "default"
I0904 19:51:56.422794 23481 clusterdeployer.go:154] Done provisioning cluster. You can now access your cluster with kubectl --kubeconfig ./out/management-cluster/kubeconfig
I0904 19:51:56.422904 23481 createbootstrapcluster.go:36] Cleaning up bootstrap cluster.
最初にkindがDockerイメージをダウンロードして、Docker上にKubernetesを作成します。しばらくすると、vSphere上にmanagement-cluster-controlplane-1という名前のVMが作成されます。ブートストラップ中は、kindがブートストラップ用のKubernetesを起動しているのが確認できますが、ブートストラップが終了するとDockerコンテナは自動的に削除されます。
# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5de63a2bc705 kindest/node:v1.15.3 "/usr/local/bin/entr…" About a minute ago Up About a minute 40323/tcp, 127.0.0.1:40323->6443/tcp clusterapi-control-plane
kubectlの接続先をManagement Clusterに変更し、Management Clusterが正常なことを確認します。
# export KUBECONFIG=$PWD/out/management-cluster/kubeconfig
# kubectl get nodes
NAME STATUS ROLES AGE VERSION
management-cluster-controlplane-1 Ready master 6m50s v1.15.3
CRDを確認すると、ClusterAPIに関連するものが存在することが確認できます。
# kubectl get crd | grep cluster
clusterinformations.crd.projectcalico.org 2019-09-04T10:51:40Z
clusters.cluster.k8s.io 2019-09-04T10:51:41Z
machineclasses.cluster.k8s.io 2019-09-04T10:51:41Z
machinedeployments.cluster.k8s.io 2019-09-04T10:51:41Z
machines.cluster.k8s.io 2019-09-04T10:51:42Z
machinesets.cluster.k8s.io 2019-09-04T10:51:42Z
vsphereclusterproviderspecs.vsphere.cluster.k8s.io 2019-09-04T10:51:41Z
vsphereclusterproviderstatuses.vsphere.cluster.k8s.io 2019-09-04T10:51:41Z
vspheremachineproviderspecs.vsphere.cluster.k8s.io 2019-09-04T10:51:41Z
vspheremachineproviderstatuses.vsphere.cluster.k8s.io 2019-09-04T10:51:41Z
Management Clsuterにはcluster-api-systemとvsphere-provider-systemネームスペースが追加されています。
# kubectl get namespace
NAME STATUS AGE
cluster-api-system Active 7m12s
default Active 7m24s
kube-node-lease Active 7m28s
kube-public Active 7m28s
kube-system Active 7m28s
vsphere-provider-system Active 7m12s
cluster-api-systemにはStatefulSetが作成され、cluster-api-controller-manager Podが作成されています。
# kubectl get statefulset,pod -n cluster-api-system
NAME READY AGE
statefulset.apps/cluster-api-controller-manager 1/1 7m30s
NAME READY STATUS RESTARTS AGE
pod/cluster-api-controller-manager-0 1/1 Running 0 7m25s
vsphere-provider-systemにもStatefulSetが作成され、vsphere-provider-controller-managerが作成されています。
# kubectl get statefulset,pod -n vsphere-provider-system
NAME READY AGE
statefulset.apps/vsphere-provider-controller-manager 1/1 7m50s
NAME READY STATUS RESTARTS AGE
pod/vsphere-provider-controller-manager-0 1/1 Running 0 7m44s
Workload Clusterの作成
Workload Cluster用マニフェストの作成
# docker run --rm ¥
-v "$(pwd)":/out ¥
-v "$(pwd)/envvars.txt":/envvars.txt:ro ¥
gcr.io/cluster-api-provider-vsphere/release/manifests:v0.4.1 ¥
-c workload-cluster-1
# ls -l /root/out/workload-cluster-1/
total 132
-rw-r--r-- 1 root root 19828 Sep 4 20:00 addons.yaml
-rw-r--r-- 1 root root 879 Sep 4 20:00 cluster.yaml
-rw-r--r-- 1 root root 1087 Sep 4 20:00 machineset.yaml
-rw-r--r-- 1 root root 774 Sep 4 20:00 machines.yaml
-rw-r--r-- 1 root root 101245 Sep 4 20:00 provider-components.yaml
Workload Cluster用マニフェストの適用
Management Clusterに対してマニフェストを適用して、Workload Clusterを作成します。
kubectl apply -f ./out/workload-cluster-1/cluster.yaml
kubectl apply -f ./out/workload-cluster-1/machines.yaml
kubectl apply -f ./out/workload-cluster-1/machineset.yaml
しばらくすると、vSphere上にworkload-cluster-1-controlplane-1が作成され、WorkloadクラスターのMasterとして構成され、それを追ってworkload-cluster-1-machineset-1-xxxxが2台作成されます。
# kubectl get cluster
NAME AGE
management-cluster 11m
workload-cluster-1 2m10s
# kubectl get machineset
NAME AGE
workload-cluster-1-machineset-1 2m20s
# kubectl get machines
NAME PROVIDERID PHASE
management-cluster-controlplane-1 vsphere://422ae07d-1d4c-f94d-569d-fcd8a99c6e84
workload-cluster-1-controlplane-1 vsphere://422a4622-6591-7807-2f31-1f009f008951
workload-cluster-1-machineset-1-8kh2q
workload-cluster-1-machineset-1-sbv7x
しばらくすると、Machinesリソースが以下のようにすべてPROVIDEDに値が入ります。
# kubectl get machines
NAME PROVIDERID PHASE
management-cluster-controlplane-1 vsphere://422ae07d-1d4c-f94d-569d-fcd8a99c6e84
workload-cluster-1-controlplane-1 vsphere://422a4622-6591-7807-2f31-1f009f008951
workload-cluster-1-machineset-1-8kh2q vsphere://422a6d58-1871-1e54-35e7-47baf346c149
workload-cluster-1-machineset-1-sbv7x vsphere://422a8747-6a1e-96b4-596c-8592edf6cc9f
Workload Cluster用設定ファイルの取得
Workloadクラスターに接続するための設定ファイルはManagemetクラスターのSecretとして格納されているので取り出して利用します。
# kubectl get secret
NAME TYPE DATA AGE
default-token-xprdb kubernetes.io/service-account-token 3 15m
management-cluster-kubeconfig Opaque 1 15m
workload-cluster-1-kubeconfig Opaque 1 4m21s
# kubectl get secret workload-cluster-1-kubeconfig -o jsonpath='{.data.value}' | base64 -d > ~/.kube/config
接続先をWorkloadクラスターに変更して状態を確認すると、すべてNotReadyとなっています。これはCNIが構成されていないためです。マニフェストファイルのaddons.yamlを利用するとCNIとしてCalicoを構成することができます。
# export KUBECONFIG=$HOME/.kube/config
# kubectl get nodes
NAME STATUS ROLES AGE VERSION
workload-cluster-1-controlplane-1 NotReady master 5m26s v1.15.3
workload-cluster-1-machineset-1-8kh2q NotReady node 3m48s v1.15.3
workload-cluster-1-machineset-1-sbv7x NotReady node 3m47s v1.15.3
# kubectl apply -f out/workload-cluster-1/addons.yaml
# kubectl get nodes
NAME STATUS ROLES AGE VERSION
workload-cluster-1-controlplane-1 Ready master 6m33s v1.15.3
workload-cluster-1-machineset-1-8kh2q Ready node 4m55s v1.15.3
workload-cluster-1-machineset-1-sbv7x Ready node 4m54s v1.15.3
Workload Clusterに対するノード追加
Workloadクラスターのノード数は、Machinesetによって定義されているため、Management ClusterのMachinsetのspec.replicasを変更することで簡単にノードを追加・削除することが可能です。
# export KUBECONFIG=/root/out/management-cluster/kubeconfig
# kubectl edit machineset workload-cluster-1-machineset-1
MachineSetマニフェストのレプリカ数を2から6に変更します。
apiVersion: cluster.k8s.io/v1alpha1
kind: MachineSet
metadata:
...
spec:
replicas: 6
しばらくするとvSphere上で仮想マシンが４台追加され、Management Cluster上のMachinesリソースが4つ増えていることを確認できます。
# kubectl get machines
NAME PROVIDERID PHASE
management-cluster-controlplane-1 vsphere://422ae07d-1d4c-f94d-569d-fcd8a99c6e84
workload-cluster-1-controlplane-1 vsphere://422a4622-6591-7807-2f31-1f009f008951
workload-cluster-1-machineset-1-5br4h vsphere://422a4ad5-763c-02a6-8278-1092a357b649
workload-cluster-1-machineset-1-8kh2q vsphere://422a6d58-1871-1e54-35e7-47baf346c149
workload-cluster-1-machineset-1-cwxrx vsphere://422ac22f-f47c-f411-8825-8a4cac60076c
workload-cluster-1-machineset-1-mjqck vsphere://422a1446-9374-bda1-6826-3f844d2879da
workload-cluster-1-machineset-1-pgb7l vsphere://422ae547-dafc-7177-a3ec-ef6d152005f0
workload-cluster-1-machineset-1-sbv7x vsphere://422a8747-6a1e-96b4-596c-8592edf6cc9f
Workloadクラスターに接続してノードを確認すると指定した6台にノード数が増えていることが確認できました。
# export KUBECONFIG=$HOME/.kube/config
# kubectl get nodes
NAME STATUS ROLES AGE VERSION
workload-cluster-1-controlplane-1 Ready master 15m v1.15.3
workload-cluster-1-machineset-1-5br4h Ready node 43s v1.15.3
workload-cluster-1-machineset-1-8kh2q Ready node 13m v1.15.3
workload-cluster-1-machineset-1-cwxrx Ready node 45s v1.15.3
workload-cluster-1-machineset-1-mjqck Ready node 45s v1.15.3
workload-cluster-1-machineset-1-pgb7l Ready node 44s v1.15.3
workload-cluster-1-machineset-1-sbv7x Ready node 13m v1.15.3
まとめ
Cluster APIを利用することでvSphere環境にとても簡単にKubernetesクラスターを作成することができました。また、マニフェストを更新することでクラスターのスケールアウト/インが簡単に行うことが可能です。