やったことアウトプットしないと、後輩に色々言えないと思ったのでメモ書き程度に…

Kubernetesで色々やってみたいので、手元のWindows 10 ProにHyper-Vをインストールして、その中にk8sを構築する。
ただ、普段の開発マシンはmacOSなので、操作はmacOSからしたい。
※手元のWin10マシンがRyzen 7 3700X 64GBでVM動かすのにちょうどよかったため。

minikube (Windows 10)

minikube multi nodeで構築する。
https://minikube.sigs.k8s.io/docs/tutorials/multi_node/
コマンドのインストールはめんどくさいので、Chocolateyでやる。
KubernetesのバージョンはEKSと合わせるためにv1.21.5にしています。

Hyper-Vの有効化は割愛

Powershell

# 管理者権限のPowershellで作業

# Chocolateyでサクッとminikubeをインストール
> choco install -y minikube

# minikubeでk8s clusterを起動
# --hyperv-virtual-switch='Primary Virtual Switch'
#   -> 事前にHyper-Vのコンパネで仮想スイッチを作成しています
> minikube start `
    --driver=hyperv `
    --hyperv-virtual-switch='Primary Virtual Switch' `
    --nodes=3 `
    --cni=flannel `
    --container-runtime=containerd `
    --cpus=4 `
    --memory=8G `
    --addons=registry,metallb,ingress `
    --embed-certs=true `
    --kubernetes-version=v1.21.5

Microsoft Windows 10 Pro 10.0.19044 Build 19044 上の minikube v1.25.2                                                                            
💿  VM ブートイメージをダウンロードしています...
    > minikube-v1.25.2.iso.sha256: 65 B / 65 B [-------------] 100.00% ? p/s 0s
    > minikube-v1.25.2.iso: 237.06 MiB / 237.06 MiB  100.00% 45.17 MiB p/s 5.5s
👍  minikube クラスター中のコントロールプレーンの minikube ノードを起動しています
💾  Kubernetes v1.21.5 のダウンロードの準備をしています
    > preloaded-images-k8s-v17-v1...: 545.79 MiB / 545.79 MiB  100.00% 48.20 Mi
🔥  hyperv VM (CPUs=4, Memory=8192MB, Disk=20000MB) を作成しています...
📦  containerd 1.4.12 で Kubernetes v1.21.5 を準備しています...
    ▪ kubelet.housekeeping-interval=5m
    ▪ 証明書と鍵を作成しています...
    ▪ コントロールプレーンを起動しています...
    ▪ RBAC のルールを設定中です...
🔗  Flannel (コンテナーネットワークインターフェース) を設定中です...
🔎  Kubernetes コンポーネントを検証しています...
    ▪ registry:2.7.1 イメージを使用しています
    ▪ gcr.io/google_containers/kube-registry-proxy:0.4 イメージを使用しています
    ▪ gcr.io/k8s-minikube/storage-provisioner:v5 イメージを使用しています
    ▪ k8s.gcr.io/ingress-nginx/kube-webhook-certgen:v1.1.1 イメージを使用しています
    ▪ k8s.gcr.io/ingress-nginx/kube-webhook-certgen:v1.1.1 イメージを使用しています
    ▪ k8s.gcr.io/ingress-nginx/controller:v1.1.1 イメージを使用しています
    ▪ metallb/controller:v0.9.6 イメージを使用しています
    ▪ metallb/speaker:v0.9.6 イメージを使用しています
🔎  registry アドオンを検証しています...
🔎  ingress アドオンを検証しています...
🌟  有効なアドオン: storage-provisioner, metallb, default-storageclass, registry, ingress

👍  minikube クラスター中の minikube-m02 ワーカーノードを起動しています
🔥  hyperv VM (CPUs=4, Memory=8192MB, Disk=20000MB) を作成しています...
🌐  ネットワーク オプションが見つかりました
    ▪ NO_PROXY=172.16.11.179
    ▪ no_proxy=172.16.11.179
📦  containerd 1.4.12 で Kubernetes v1.21.5 を準備しています...
    ▪ env NO_PROXY=172.16.11.179
🔎  Kubernetes コンポーネントを検証しています...

👍  minikube クラスター中の minikube-m03 ワーカーノードを起動しています
🔥  hyperv VM (CPUs=4, Memory=8192MB, Disk=20000MB) を作成しています...
🌐  ネットワーク オプションが見つかりました
    ▪ NO_PROXY=172.16.11.179,172.16.11.180
    ▪ no_proxy=172.16.11.179,172.16.11.180
📦  containerd 1.4.12 で Kubernetes v1.21.5 を準備しています...
    ▪ env NO_PROXY=172.16.11.179
    ▪ env NO_PROXY=172.16.11.179,172.16.11.180
🔎  Kubernetes コンポーネントを検証しています...

❗  C:\ProgramData\chocolatey\bin\kubectl.exe のバージョンは 1.23.5 で、Kubernetes 1.21.5 と互換性がないかもしれません。
    ▪ kubectl v1.21.5 が必要ですか？ 'minikube kubectl -- get pods -A' を試してみてください
🏄  完了しました！ kubectl が「"minikube"」クラスタと「"default"」ネームスペースを使用するよう構成されました

kubectl (macOS)

kubectlをインストール
バージョンを揃えるために、asdfを使用しています。

$ brew install asdf

~/.bash_profile

# 追記
export BREW_PREFIX=`brew --prefix`
. "${BREW_PREFIX}/opt/asdf/libexec/asdf.sh"

# ~/.bash_profileを再読み込み
$ exec $SHELL -l

# asdfでkubectlを使えるようにする
$ asdf plugin-add kubectl

# kubectl v1.21.5をインストール
$ asdf install kubectl 1.21.5

# システムでkubectl v1.21.5を利用するように設定
$ asdf global kubectl 1.21.5

# バージョン確認
$ kubectl version
Client Version: version.Info{Major:"1", Minor:"21", GitVersion:"v1.21.5", GitCommit:"aea7bbadd2fc0cd689de94a54e5b7b758869d691", GitTreeState:"clean", BuildDate:"2021-09-15T21:10:45Z", GoVersion:"go1.16.8", Compiler:"gc", Platform:"darwin/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?

KubeConfigをどうにかして持ってくる

Windows 10の "C:\Users\<ユーザ名>\.kube\config" をどうにかこうにかして、macOSの ~/.kube/config に持ってくる。
私はRDPでコピペしました。
人によっては、中のIPをいい感じに直す必要性があると思います。

疎通確認 (macOS)

# Server側のバージョンが取れていればOK
$ kubectl version
Client Version: version.Info{Major:"1", Minor:"21", GitVersion:"v1.21.5", GitCommit:"aea7bbadd2fc0cd689de94a54e5b7b758869d691", GitTreeState:"clean", BuildDate:"2021-09-15T21:10:45Z", GoVersion:"go1.16.8", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"21", GitVersion:"v1.21.5", GitCommit:"aea7bbadd2fc0cd689de94a54e5b7b758869d691", GitTreeState:"clean", BuildDate:"2021-09-15T21:04:16Z", GoVersion:"go1.16.8", Compiler:"gc", Platform:"linux/amd64"}

$ kubectl get all -n kube-system
NAME                                   READY   STATUS    RESTARTS   AGE
pod/coredns-558bd4d5db-527vk           1/1     Running   0          19m
pod/etcd-minikube                      1/1     Running   0          19m
pod/kube-apiserver-minikube            1/1     Running   0          19m
pod/kube-controller-manager-minikube   1/1     Running   0          19m
pod/kube-flannel-ds-amd64-vhm4v        1/1     Running   0          17m
pod/kube-flannel-ds-amd64-vrd7q        1/1     Running   0          16m
pod/kube-flannel-ds-amd64-xdqf5        1/1     Running   0          19m
pod/kube-proxy-2r45z                   1/1     Running   0          19m
pod/kube-proxy-nl4rf                   1/1     Running   0          17m
pod/kube-proxy-zj2ld                   1/1     Running   0          16m
pod/kube-scheduler-minikube            1/1     Running   0          19m
pod/registry-5h7hb                     1/1     Running   0          19m
pod/registry-proxy-4gxpz               1/1     Running   0          19m
pod/registry-proxy-68gms               1/1     Running   0          16m
pod/registry-proxy-6r485               1/1     Running   0          17m
pod/storage-provisioner                1/1     Running   0          19m

NAME                             DESIRED   CURRENT   READY   AGE
replicationcontroller/registry   1         1         1       19m

NAME               TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                  AGE
service/kube-dns   ClusterIP   10.96.0.10     <none>        53/UDP,53/TCP,9153/TCP   19m
service/registry   ClusterIP   10.98.234.97   <none>        80/TCP,443/TCP           19m

NAME                                     DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
daemonset.apps/kube-flannel-ds-amd64     3         3         3       3            3           <none>                   19m
daemonset.apps/kube-flannel-ds-arm       0         0         0       0            0           <none>                   19m
daemonset.apps/kube-flannel-ds-arm64     0         0         0       0            0           <none>                   19m
daemonset.apps/kube-flannel-ds-ppc64le   0         0         0       0            0           <none>                   19m
daemonset.apps/kube-flannel-ds-s390x     0         0         0       0            0           <none>                   19m
daemonset.apps/kube-proxy                3         3         3       3            3           kubernetes.io/os=linux   19m
daemonset.apps/registry-proxy            3         3         3       3            3           <none>                   19m

NAME                      READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/coredns   1/1     1            1           19m

NAME                                 DESIRED   CURRENT   READY   AGE
replicaset.apps/coredns-558bd4d5db   1         1         1       19m

何故か、corednsの調子が悪かったので一度作り直す

$ kubectl -n kube-system rollout restart deployment coredns
deployment.apps/coredns restarted

# 先ほどと名前が変わっていればOK
$ kubectl -n kube-system get po
NAME                               READY   STATUS    RESTARTS   AGE
coredns-69b98fc48c-rfs5h           1/1     Running   0          29s
....

MetalLB

今のままだと、MetalLBが動作しないので、LoadBalancerに割り当てるIPアドレスの範囲を設定してあげる。
この際に、企業内のネットワークなどで適当に割り当てると、企業内ネットワークに深刻なダメージを受けることがあるので注意。
基本的には、自宅のLANなどでVPNを切断した上で設定しよう。

我が家は 172.16.10.0/23 のLANを構築しており、DHCPで配布されるアドレスは 172.16.11.100-220 の範囲に限定しているため、MetalLBには 172.16.10.100-200 の範囲を割り当てる。

Powershell

> minikube addons configure metallb
-- Enter Load Balancer Start IP: 172.16.10.100
-- Enter Load Balancer End IP: 172.16.10.200
    ▪ metallb/speaker:v0.9.6 イメージを使用しています
    ▪ metallb/controller:v0.9.6 イメージを使用しています
✅  metallb は正常に設定されました

予定

ストレージ周りが不便なので、Rook CEPHを入れたい
(まぁ、すでに入れてたけど記事を書くために一度全部吹き飛ばした)