[Oracle Cloud] Oracle CloudでKubernetes the Hard Wayする (その②)

はじめに

[Oracle Cloud] Oracle CloudでKubernetes the Hard Wayする (その①)からの続きです。

Kubenets the Hard Way in OCI (前回の続きから最後まで)

ワーカー・ノードの構成

ワーカー・ノードに配置される各コンポーネントを構成します

★ WORKERノード設定：worker01/worker02/worker03で繰り返す
------------------------------------- < ここから > -------------------------------------

rpmパッケージのインストール

socat、conntrack、ipsetをインストールします

## worker01にログイン
(client)$ ssh worker01.private
※worker02・worker03作業時は、各ノードにログインして作業します。読み替えてください

(worker)$ sudo yum install -y socat conntrack ipset
________________< 出力は省略 >________________

swapの無効化

デフォルトでは、swapが有効化されているとkubeletがfailするそうなので、swapを無効化します

By default the kubelet will fail to start if swap is enabled. It is recommended that swap be disabled to ensure Kubernetes can provide proper resource allocation and quality of service.

## swapの状態を確認する
(worker):$ sudo swapon --show
________________< コマンド実行後 出力 >________________
NAME      TYPE      SIZE USED PRIO
/dev/sda2 partition   8G   0B   -2
⇒ デフォルトでは有効化されている

## swapを無効化する
(worker):$ sudo swapoff -a
(worker):$ sudo cp -pi /etc/fstab /etc/fstab.$(date '+%Y%m%d')
(worker):$ sudo vi /etc/fstab
//swapのエントリをコメントアウトする//
#UUID=2ed28945-ff72-47d4-a34f-dedaed22eaec swap                    swap    defaults,_netdev,x-initrd.mount 0 0

## 再度swapの状態を確認し、何も出力されないことを確認する
(worker):$ sudo swapon --show

ワーカー用バイナリのインストール

## ディレクトリを作成
(worker):$ sudo mkdir -p \
  /etc/cni/net.d \
  /opt/cni/bin \
  /var/lib/kubelet \
  /var/lib/kube-proxy \
  /var/lib/kubernetes \
  /var/run/kubernetes

## ファイルの展開
(worker):$ {
  mkdir containerd
  tar -xf crictl-v1.18.0-linux-amd64.tar.gz
  tar -xf containerd-1.3.6-linux-amd64.tar.gz -C containerd
  sudo tar -xf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin/
  sudo mv runc.amd64 runc
  chmod +x crictl kubectl kube-proxy kubelet runc 
  sudo mv crictl kubectl kube-proxy kubelet runc /usr/local/bin/
  sudo mv containerd/bin/* /bin/
}

## 確認
(worker):$ cd /usr/local/bin/
(worker):$ ll crictl kubectl kube-proxy kubelet runc
________________< コマンド実行後 出力 >________________
-rwxr-xr-x. 1 opc opc  28447123 Apr  1  2020 crictl
-rwxrwxr-x. 1 opc opc  44036096 Jul 15  2020 kubectl
-rwxrwxr-x. 1 opc opc 113292024 Jul 15  2020 kubelet
-rwxrwxr-x. 1 opc opc  38383616 Jul 15  2020 kube-proxy
-rwxrwxr-x. 1 opc opc  12642864 Jul 30 10:33 runc
⇒ 上記ファイルが存在することを確認

(worker):$ cd -

(worker):$ ll /opt/cni/bin
________________< コマンド実行後 出力 >________________
total 70496
-rwxr-xr-x. 1 root root  4159518 May 13  2020 bandwidth
-rwxr-xr-x. 1 root root  4671647 May 13  2020 bridge
-rwxr-xr-x. 1 root root 12124326 May 13  2020 dhcp
-rwxr-xr-x. 1 root root  5945760 May 13  2020 firewall
-rwxr-xr-x. 1 root root  3069556 May 13  2020 flannel
-rwxr-xr-x. 1 root root  4174394 May 13  2020 host-device
-rwxr-xr-x. 1 root root  3614480 May 13  2020 host-local
-rwxr-xr-x. 1 root root  4314598 May 13  2020 ipvlan
-rwxr-xr-x. 1 root root  3209463 May 13  2020 loopback
-rwxr-xr-x. 1 root root  4389622 May 13  2020 macvlan
-rwxr-xr-x. 1 root root  3939867 May 13  2020 portmap
-rwxr-xr-x. 1 root root  4590277 May 13  2020 ptp
-rwxr-xr-x. 1 root root  3392826 May 13  2020 sbr
-rwxr-xr-x. 1 root root  2885430 May 13  2020 static
-rwxr-xr-x. 1 root root  3356587 May 13  2020 tuning
-rwxr-xr-x. 1 root root  4314446 May 13  2020 vlan
⇒ 上記ファイルが存在することを確認

(worker):$ ll /bin/containerd* /bin/ctr
________________< コマンド実行後 出力 >________________
-rwxr-xr-x. 1 opc opc 53283200 Jun 30  2020 /bin/containerd
-rwxr-xr-x. 1 opc opc  7180288 Jun 30  2020 /bin/containerd-shim
-rwxr-xr-x. 1 opc opc  8802304 Jun 30  2020 /bin/containerd-shim-runc-v1
-rwxr-xr-x. 1 opc opc  8806400 Jun 30  2020 /bin/containerd-shim-runc-v2
-rwxr-xr-x. 1 opc opc 25063104 Jun 30  2020 /bin/containerd-stress
-rwxr-xr-x. 1 opc opc 26991648 Jun 30  2020 /bin/ctr
⇒ 上記ファイルが存在することを確認

CNIネットワークの構成

## POD用ネットワークアドレスを変数に設定
(worker):$ POD_CIDR=<★作業しているworkerノードに応じて、以下のネットワークレンジを指定します★>
* worker01の場合：10.200.0.0/24
* worker02の場合：10.200.1.0/24
* worker03の場合：10.200.2.0/24

## bridgeネットワーク用の設定ファイルを生成
(worker):$ cat <<EOF | sudo tee /etc/cni/net.d/10-bridge.conf
{
    "cniVersion": "0.3.1",
    "name": "bridge",
    "type": "bridge",
    "bridge": "cnio0",
    "isGateway": true,
    "ipMasq": true,
    "ipam": {
        "type": "host-local",
        "ranges": [
          [{"subnet": "${POD_CIDR}"}]
        ],
        "routes": [{"dst": "0.0.0.0/0"}]
    }
}
EOF
________________< 出力は省略 >________________

## 確認
(worker):$ cat /etc/cni/net.d/10-bridge.conf
________________< 出力は省略 >________________
⇒ 変数部分が意図した値に設定されていること

## loopback用ネットワーク設定ファイルを生成
(worker):$ cat <<EOF | sudo tee /etc/cni/net.d/99-loopback.conf
{
    "cniVersion": "0.3.1",
    "name": "lo",
    "type": "loopback"
}
EOF
________________< 出力は省略 >________________

(worker):$ cat /etc/cni/net.d/99-loopback.conf
________________< 出力は省略 >________________
⇒ 設定が書き込まれていること

Containerdの設定

## ディレクトリ作成
(worker):$ sudo mkdir -p /etc/containerd/

## containerdの設定ファイル作成
(worker):$ cat << EOF | sudo tee /etc/containerd/config.toml
[plugins]
  [plugins.cri.containerd]
    snapshotter = "overlayfs"
    [plugins.cri.containerd.default_runtime]
      runtime_type = "io.containerd.runtime.v1.linux"
      runtime_engine = "/usr/local/bin/runc"
      runtime_root = ""
EOF
________________< 出力は省略 >________________

## 確認
(worker):$ cat /etc/containerd/config.toml
________________< 出力は省略 >________________
⇒ 設定が書き込まれていること

## containerdのsystemdサービス設定ファイルを作成
(worker):$ cat <<EOF | sudo tee /etc/systemd/system/containerd.service
[Unit]
Description=containerd container runtime
Documentation=https://containerd.io
After=network.target

[Service]
ExecStartPre=/sbin/modprobe overlay
ExecStart=/bin/containerd
Restart=always
RestartSec=5
Delegate=yes
KillMode=process
OOMScoreAdjust=-999
LimitNOFILE=1048576
LimitNPROC=infinity
LimitCORE=infinity

[Install]
WantedBy=multi-user.target
EOF
________________< 出力は省略 >________________

(worker):$ cat /etc/systemd/system/containerd.service
________________< 出力は省略 >________________
⇒ 設定が書き込まれていること

kubeletの設定

## 証明書およびkubeconfigの配賦
(worker):$ {
  sudo mv ${HOSTNAME}-key.pem ${HOSTNAME}.pem /var/lib/kubelet/
  sudo mv ${HOSTNAME}.kubeconfig /var/lib/kubelet/kubeconfig
  sudo mv ca.pem /var/lib/kubernetes/
}

## kubelet設定ファイルの作成
## オリジナルのkubernetes the hard wayには、以下のエントリがあります。
## resolvConf: "/run/systemd/resolve/resolv.conf"
## ただ、OCIで提供されているOELのイメージにはsystemd-resolvedがデフォルトでインストールされておらず、
## このエントリがあると、pod起動時にエラーになったため削除しています
(worker):$ cat <<EOF | sudo tee /var/lib/kubelet/kubelet-config.yaml
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
authentication:
  anonymous:
    enabled: false
  webhook:
    enabled: true
  x509:
    clientCAFile: "/var/lib/kubernetes/ca.pem"
authorization:
  mode: Webhook
clusterDomain: "cluster.local"
clusterDNS:
  - "10.32.0.10"
podCIDR: "${POD_CIDR}"
runtimeRequestTimeout: "15m"
tlsCertFile: "/var/lib/kubelet/${HOSTNAME}.pem"
tlsPrivateKeyFile: "/var/lib/kubelet/${HOSTNAME}-key.pem"
EOF
________________< 出力は省略 >________________

## 確認
(worker):$ cat /var/lib/kubelet/kubelet-config.yaml
________________< 出力は省略 >________________
⇒ 設定が書き込まれていること

## kubelet用systemdサービス設定ファイルの作成
(worker):$ cat <<EOF | sudo tee /etc/systemd/system/kubelet.service
[Unit]
Description=Kubernetes Kubelet
Documentation=https://github.com/kubernetes/kubernetes
After=containerd.service
Requires=containerd.service

[Service]
ExecStart=/usr/local/bin/kubelet \\
  --config=/var/lib/kubelet/kubelet-config.yaml \\
  --container-runtime=remote \\
  --container-runtime-endpoint=unix:///var/run/containerd/containerd.sock \\
  --image-pull-progress-deadline=2m \\
  --kubeconfig=/var/lib/kubelet/kubeconfig \\
  --network-plugin=cni \\
  --register-node=true \\
  --v=2
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target
EOF
________________< 出力は省略 >________________

## 確認
(worker):$ cat /etc/systemd/system/kubelet.service
________________< 出力は省略 >________________
⇒ 設定が書き込まれていること

Kubertenes Proxyの設定

## kubeconfigの配賦
(worker):$ sudo mv kube-proxy.kubeconfig /var/lib/kube-proxy/kubeconfig

## kubernetes proxy設定ファイルの作成
(worker):$ cat <<EOF | sudo tee /var/lib/kube-proxy/kube-proxy-config.yaml
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
clientConnection:
  kubeconfig: "/var/lib/kube-proxy/kubeconfig"
mode: "iptables"
clusterCIDR: "10.200.0.0/16"
EOF
________________< 出力は省略 >________________

## 確認
(worker):$ cat /var/lib/kube-proxy/kube-proxy-config.yaml
________________< 出力は省略 >________________
⇒ 設定が書き込まれていること

## kubernetes proxy用systemdサービス設定ファイルの作成
(worker):$ cat <<EOF | sudo tee /etc/systemd/system/kube-proxy.service
[Unit]
Description=Kubernetes Kube Proxy
Documentation=https://github.com/kubernetes/kubernetes

[Service]
ExecStart=/usr/local/bin/kube-proxy \\
  --config=/var/lib/kube-proxy/kube-proxy-config.yaml
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target
EOF
________________< 出力は省略 >________________

## 確認
(worker):$ cat /etc/systemd/system/kube-proxy.service
________________< 出力は省略 >________________
⇒ 設定が書き込まれていること

サービスの起動

## サービス起動
(worker):$ {
  sudo systemctl daemon-reload
  sudo systemctl enable containerd kubelet kube-proxy
  sudo systemctl start containerd kubelet kube-proxy
}
________________< 出力は省略 >________________

## 確認
(worker):$ systemctl status containerd kubelet kube-proxy
________________< コマンド実行後 出力 >________________
● containerd.service - containerd container runtime
   Loaded: loaded (/etc/systemd/system/containerd.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2021-01-23 03:17:04 GMT; 28s ago
     Docs: https://containerd.io
  Process: 13075 ExecStartPre=/sbin/modprobe overlay (code=exited, status=0/SUCCESS)
//出力省略：running状態であること//

● kubelet.service - Kubernetes Kubelet
   Loaded: loaded (/etc/systemd/system/kubelet.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2021-01-23 03:17:04 GMT; 28s ago
     Docs: https://github.com/kubernetes/kubernetes
 Main PID: 13085 (kubelet)
//出力省略：running状態であること//

● kube-proxy.service - Kubernetes Kube Proxy
   Loaded: loaded (/etc/systemd/system/kube-proxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2021-01-23 03:17:04 GMT; 28s ago
     Docs: https://github.com/kubernetes/kubernetes
 Main PID: 13084 (kube-proxy)
//出力省略：running状態であること//

## workerノードからログアウトし、clientノードに戻る
(worker):$ exit

動作確認

(client):$ ssh controller01.private kubectl get nodes --kubeconfig admin.kubeconfig
________________< コマンド実行後 出力 >________________
<worker01のみ完了時>
NAME       STATUS   ROLES    AGE     VERSION
worker01   Ready    <none>   4m43s   v1.18.6

<worker02まで完了時>
NAME       STATUS   ROLES    AGE     VERSION
worker01   Ready    <none>   9m46s   v1.18.6
worker02   Ready    <none>   14s     v1.18.6

<worker03まで完了時>
NAME       STATUS   ROLES    AGE     VERSION
worker01   Ready    <none>   25m     v1.18.6
worker02   Ready    <none>   16m     v1.18.6
worker03   Ready    <none>   3m28s   v1.18.6

------------------------------------- < ここまで > -------------------------------------

上記作業をworker02・worker03まで繰り返す

リモートからkubectlコマンドを実行するための設定

クライアント・ノードから、adminユーザ権限でkubectlコマンドを実行できるように設定します

## admin.kubeconfigファイルが存在するディレクトリに移動
(client):$ cd $HOME/kubectl/kubeconfig
(client):$ ll admin.kubeconfig
________________< コマンド実行後 出力 >________________
-rw-------. 1 opc opc 6261 Jan 22 04:44 admin.kubeconfig
⇒ 上記ファイルが存在すること

## LBのIPを変数に設定
(client):$ LB_IP=★LBのPrivate IP★

(client):$ {
  kubectl config set-cluster kubernetes-the-hard-way \
    --certificate-authority=$HOME/cfssl/cert/ca.pem \
    --embed-certs=true \
    --server=https://${LB_IP}:6443

  kubectl config set-credentials admin \
    --client-certificate=$HOME/cfssl/cert/admin.pem \
    --client-key=$HOME/cfssl/cert/admin-key.pem

  kubectl config set-context kubernetes-the-hard-way \
    --cluster=kubernetes-the-hard-way \
    --user=admin

  kubectl config use-context kubernetes-the-hard-way
}
________________< コマンド実行後 出力 >________________
Cluster "kubernetes-the-hard-way" set.
User "admin" set.
Context "kubernetes-the-hard-way" modified.
Switched to context "kubernetes-the-hard-way".

## 動作確認
(client):$ kubectl get componentstatuses
________________< コマンド実行後 出力 >________________
NAME                 STATUS    MESSAGE             ERROR
controller-manager   Healthy   ok
scheduler            Healthy   ok
etcd-2               Healthy   {"health":"true"}
etcd-1               Healthy   {"health":"true"}
etcd-0               Healthy   {"health":"true"}
⇒ 上記のように出力されること

(client):$ kubectl get nodes
________________< コマンド実行後 出力 >________________
NAME       STATUS   ROLES    AGE   VERSION
worker01   Ready    <none>   37m   v1.18.6
worker02   Ready    <none>   28m   v1.18.6
worker03   Ready    <none>   15m   v1.18.6
⇒ 上記のように出力されること

ルート表の修正

Pod用ネットワークの通信が各ワーカー・ノードにルーティングされるように設定します

Cloud Shellから以下のコマンドを実行します

## ワーカー・ノードのIPを設定
(CShell):$ WORKER01_IP=★worker01のIP★
(CShell):$ WORKER02_IP=★worker02のIP★
(CShell):$ WORKER03_IP=★worker03のIP★

## 各ワーカーノードのNIC OCIDを取得
(CShell):$ WORKER01_VNIC_OCID=$(oci --profile k8s compute instance list-vnics --raw-output --query 'data[?"hostname-label"==`worker01` && "lifecycle-state"==`AVAILABLE`].id |[0]')
(CShell):$ echo ${WORKER01_VNIC_OCID}
________________< コマンド実行後 出力 >________________
ocid1.vnic.oc1.ap-tokyo-1.abxhiljrlc4vueta5b26dpvn3crji7nvlgvitfdrvvcadmuc4hrxsnouwj4q
⇒ ocid1.vnicから始まるIDが出力されること

(CShell):$ WORKER02_VNIC_OCID=$(oci --profile k8s compute instance list-vnics --raw-output --query 'data[?"hostname-label"==`worker02` && "lifecycle-state"==`AVAILABLE`].id |[0]')
(CShell):$ echo ${WORKER02_VNIC_OCID}
________________< コマンド実行後 出力 >________________
ocid1.vnic.oc1.ap-tokyo-1.abxhiljrg56hd3cqq5luef7e2oikwaxqsulxbturobk32fzeog5j7uhhc3oa
⇒ ocid1.vnicから始まるIDが出力されること

(CShell):$ WORKER03_VNIC_OCID=$(oci --profile k8s compute instance list-vnics --raw-output --query 'data[?"hostname-label"==`worker03` && "lifecycle-state"==`AVAILABLE`].id |[0]')
(CShell):$ echo ${WORKER03_VNIC_OCID}
________________< コマンド実行後 出力 >________________
ocid1.vnic.oc1.ap-tokyo-1.abxhiljrnlvv2zeie7wzlln2shp23gl2hjrhddxxd4zejwz222uuqjatgxha
⇒ ocid1.vnicから始まるIDが出力されること

## 各VNICで、ソース・宛先チェック処理をスキップするように設定する
(CShell):$ for vnic_ocid in ${WORKER01_VNIC_OCID} ${WORKER02_VNIC_OCID} ${WORKER03_VNIC_OCID}
do
  oci --profile k8s network vnic update \
    --force \
    --vnic-id ${vnic_ocid} --skip-source-dest-check true
done
________________< 出力は省略 >________________

## PrivateサブネットのルートテーブルのOCIDを取得
(CShell):$ ROUTE_OCID=$(oci --profile k8s network route-table list --raw-output --query 'data[?"display-name"==`route-table-private` && "lifecycle-state"==`AVAILABLE`].id |[0]')
(CShell)$ echo ${ROUTE_OCID}
________________< コマンド実行後 出力 >________________
ocid1.routetable.oc1.ap-tokyo-1.aaaaaaaaowoavnonhkmy5356rkefyy5ofrqtebxuqcxiz7tzprv7y3weg2mq
⇒ ocid1.routetableから始まるIDが出力されること

## NAT GWのOCIDを取得
(CShell):$ NAT_GW_OCID=$(oci --profile k8s network nat-gateway list --raw-output --query 'data[].id |[0]')
(CShell):$ echo ${NAT_GW_OCID}
________________< コマンド実行後 出力 >________________
ocid1.natgateway.oc1.ap-tokyo-1.aaaaaaaa6i65puwgi23reds2pacxlt3zhfjn6rjnro7cdw4dysjz2vqjlaqq
⇒ ocid1.natgatewayから始まるIDが出力されること

## 各ワーカーノードのPrivate IP OCIDを取得
(CShell):$ WORKER01_IP_OCID=$(oci --profile k8s network private-ip list --ip-address ${WORKER01_IP} --raw-output --query 'data[].id |[0]')
(CShell):$ echo ${WORKER01_IP_OCID}
________________< コマンド実行後 出力 >________________
ocid1.privateip.oc1.ap-tokyo-1.abxhiljr2vtr2tjqbl6y2ewfnw6b25xbwjevxixwyjlwfbeweels362eiuxq
⇒ ocid1.privateipから始まるIDが出力されること

(CShell):$ WORKER02_IP_OCID=$(oci --profile k8s network private-ip list --ip-address ${WORKER02_IP} --raw-output --query 'data[].id |[0]')
(CShell):$ echo ${WORKER02_IP_OCID}
________________< コマンド実行後 出力 >________________
ocid1.privateip.oc1.ap-tokyo-1.abxhiljr2tkmyt6nmdogjlkic7hcqcnsi5ubs4xs64j57i5vppuoodp2uzza
⇒ ocid1.privateipから始まるIDが出力されること

(CShell):$ WORKER03_IP_OCID=$(oci --profile k8s network private-ip list --ip-address ${WORKER03_IP} --raw-output --query 'data[].id |[0]')
(CShell):$ echo ${WORKER03_IP_OCID}
________________< コマンド実行後 出力 >________________
ocid1.privateip.oc1.ap-tokyo-1.abxhiljrs6lzm5zzi243pis6kjurzpn2o54nsswopzcszrju2xo4s5whng5q
⇒ ocid1.privateipから始まるIDが出力されること

## Privateサブネットのルート表をアップデートする
(CShell):$ oci --profile k8s network route-table update --force \
  --rt-id ${ROUTE_OCID} \
  --route-rules '[{"destination":"0.0.0.0/0",   "networkEntityId":"'${NAT_GW_OCID}'"}
               ,{"destination":"10.200.0.0/24", "networkEntityId":"'${WORKER01_IP_OCID}'"}
               ,{"destination":"10.200.1.0/24", "networkEntityId":"'${WORKER02_IP_OCID}'"}
               ,{"destination":"10.200.2.0/24", "networkEntityId":"'${WORKER03_IP_OCID}'"}]'
________________< 出力は省略 >________________

更新後、Privateサブネットのルート・ルールが以下のように変更されていること

DNSクラスター・アドオンのインストール

CoreDNSをインストールする

サービス・ディスカバリに利用する、Kubernetes内部の名前解決用のPodをデプロイします

クライアント・ノードから以下のコマンドを実行します

(client):$ kubectl apply -f https://storage.googleapis.com/kubernetes-the-hard-way/coredns-1.7.0.yaml
________________< コマンド実行後 出力 >________________
clusterrole.rbac.authorization.k8s.io/system:coredns created
clusterrolebinding.rbac.authorization.k8s.io/system:coredns created
configmap/coredns created
deployment.apps/coredns created
service/kube-dns created

## 状態確認
(client):$ kubectl get pods -l k8s-app=kube-dns -n kube-system
________________< コマンド実行後 出力 >________________
NAME                       READY   STATUS              RESTARTS   AGE
coredns-5677dc4cdb-n9xhf   0/1     ContainerCreating   0          36s
coredns-5677dc4cdb-tng6q   0/1     ContainerCreating   0          36s
⇒ 上記のように出力されること

CoreDNSの動作確認

## busybox PODの作成
(client):$ kubectl run busybox --image=busybox:1.28 --command -- sleep 3600
________________< コマンド実行後 出力 >________________
pod/busybox created

## 状態確認
(client):$ kubectl get pods -l run=busybox
________________< コマンド実行後 出力 >________________
NAME      READY   STATUS    RESTARTS   AGE
busybox   1/1     Running   0          14m
⇒ 一定期間経過後、Running状態になること

(client):$ POD_NAME=$(kubectl get pods -l run=busybox -o jsonpath="{.items[0].metadata.name}")
(client):$ kubectl exec -ti $POD_NAME -- nslookup kubernetes
________________< コマンド実行後 出力 >________________
Server:    10.32.0.10
Address 1: 10.32.0.10 kube-dns.kube-system.svc.cluster.local

Name:      kubernetes
Address 1: 10.32.0.1 kubernetes.default.svc.cluster.local
⇒ 上記のように出力されること

Smoke Test

これですべての設定が終わったので、Kubernetesクラスタが適切に動作するかのテストを行います。Smoke testは、簡易テストって意味だそうです。知りませんでした

Data Encryptionテスト

etcdのデータが暗号化されているかどうかをテストします。

## シークレットを作成
(client):$ kubectl create secret generic kubernetes-the-hard-way \
  --from-literal="mykey=mydata"
________________< コマンド実行後 出力 >________________
secret/kubernetes-the-hard-way created

## controller01にログイン
(client):$ ssh controller01.private

## 確認
(controller01):$ sudo su -
(controller01):# etcdctl get \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/etcd/ca.pem \
  --cert=/etc/etcd/kubernetes.pem \
  --key=/etc/etcd/kubernetes-key.pem\
  /registry/secrets/default/kubernetes-the-hard-way | hexdump -C
________________< コマンド実行後 出力 >________________
00000000  2f 72 65 67 69 73 74 72  79 2f 73 65 63 72 65 74  |/registry/secret|
00000010  73 2f 64 65 66 61 75 6c  74 2f 6b 75 62 65 72 6e  |s/default/kubern|
00000020  65 74 65 73 2d 74 68 65  2d 68 61 72 64 2d 77 61  |etes-the-hard-wa|
00000030  79 0a 6b 38 73 3a 65 6e  63 3a 61 65 73 63 62 63  |y.k8s:enc:aescbc|★
00000040  3a 76 31 3a 6b 65 79 31  3a 45 44 cf ea fa fa b6  |:v1:key1:ED.....|★
00000050  33 b0 bd 7d 0b 1b 7b 77  9b 8e 2a 05 58 c1 aa 87  |3..}..{w..*.X...|
00000060  21 9e ee 9f f4 29 71 fd  9f 55 e2 11 b6 2c 59 31  |!....)q..U...,Y1|
00000070  f4 6b c8 cd 96 e0 a0 5b  8f 86 40 bf 83 25 97 84  |.k.....[..@..%..|
//以降の出力省略//
k8s:enc:aescbc:v1:key1という文字列が出力されれればよいみたいです。

## controller01からログアウトして、クライアント・ノードに戻ります
(controller01):# exit
(controller01):$ exit

デプロイメント

nginxのコンテナをデプロイします

## Podを作成
(client):$ kubectl create deployment nginx --image=nginx
________________< コマンド実行後 出力 >________________
deployment.apps/nginx created

## 確認
(client):$ kubectl get pods -l app=nginx
________________< コマンド実行後 出力 >________________
NAME                    READY   STATUS    RESTARTS   AGE
nginx-f89759699-kfj9q   1/1     Running   0          31s
⇒ Running状態になることを確認します

ポート・フォワーディング

ポートフォワードが行えることを確認します

## POD名を取得します
(client):$ POD_NAME=$(kubectl get pods -l app=nginx -o jsonpath="{.items[0].metadata.name}")
(client):$ kubectl port-forward $POD_NAME 8080:80
________________< コマンド実行後 出力 >________________
Forwarding from 127.0.0.1:8080 -> 80
⇒ この状態で待機状態になります

## もう一つターミナルを起動して、クライアント・ノードにログインします
(client):$ netstat -ntpl
________________< コマンド実行後 出力 >________________
//省略//
tcp        0      0 127.0.0.1:8080          0.0.0.0:*               LISTEN      10204/kubectl
//省略//
⇒ kubectlコマンドがローカル・ホストの8080をリッスンしていることを確認します

## nginxにアクセスできるか確認します
(client):$ curl --head http://127.0.0.1:8080
________________< コマンド実行後 出力 >________________
HTTP/1.1 200 OK
Server: nginx/1.19.6
Date: Sat, 23 Jan 2021 23:56:56 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 15 Dec 2020 13:59:38 GMT
Connection: keep-alive
ETag: "5fd8c14a-264"
Accept-Ranges: bytes

## アクセスすると、kubectl実行側のプロンプトに、以下のようなログが出力されます
________________< kubectl側 出力 >________________
Handling connection for 8080

## Ctrl+Cキーを押下してkubectlの実行を停止します

ログ

POD(nginx)が出力するログを参照できることを確認します

(client):$ kubectl logs $POD_NAME
________________< コマンド実行後 出力 >________________
/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/
/docker-entrypoint.sh: Launching /docker-entrypoint.d/10-listen-on-ipv6-by-default.sh
10-listen-on-ipv6-by-default.sh: info: Getting the checksum of /etc/nginx/conf.d/default.conf
10-listen-on-ipv6-by-default.sh: info: Enabled listen on IPv6 in /etc/nginx/conf.d/default.conf
/docker-entrypoint.sh: Launching /docker-entrypoint.d/20-envsubst-on-templates.sh
/docker-entrypoint.sh: Configuration complete; ready for start up
127.0.0.1 - - [23/Jan/2021:23:56:56 +0000] "HEAD / HTTP/1.1" 200 0 "-" "curl/7.29.0" "-"

コマンド実行

POD(nginx)内で任意コマンドが実行できることを確認します

(client):$ kubectl exec -ti $POD_NAME -- nginx -v
________________< コマンド実行後 出力 >________________
nginx version: nginx/1.19.6
⇒ nginxのバージョンが出力されることを確認します

サービス

サービスを利用したアクセスができることを確認します

## サービスの作成
(client):$ kubectl expose deployment nginx --port 80 --type NodePort
________________< コマンド実行後 出力 >________________
service/nginx exposed

## 確認
(client):$ kubectl get svc nginx
________________< コマンド実行後 出力 >________________
NAME    TYPE       CLUSTER-IP    EXTERNAL-IP   PORT(S)        AGE
nginx   NodePort   10.32.0.246   <none>        80:30663/TCP   80s
⇒ 上記のように出力されます

## ポート番号を取得して変数に格納
(client):$ NODE_PORT=$(kubectl get svc nginx \
  --output=jsonpath='{range .spec.ports[0]}{.nodePort}')

(client):$ WORKER01_IP=★Worker01のIPを入力★

## worker01(POD実行ノード)のサービス用ポートにアクセス
(client):$ curl -I http://${WORKER01_IP}:${NODE_PORT}
________________< コマンド実行後 出力 >________________
HTTP/1.1 200 OK
Server: nginx/1.19.6
Date: Sun, 24 Jan 2021 00:19:54 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 15 Dec 2020 13:59:38 GMT
Connection: keep-alive
ETag: "5fd8c14a-264"
Accept-Ranges: bytes
⇒ nginxからのレスポンスがあることを確認します

後片付け

・Computeインスタンスとネットワーク(LB含む)を削除します
ComputeインスタンスとLBは従量課金対象になるため、いらなくなったら削除します
```