k8sのコントロールプレーンをELBでヘルスチェックさせてみる

はじめに

以前k8sをkubeadmで構築した際に、コントロールプレーンのヘルスチェックはHAProxy+keepalivedで実現させていたが、AWSのNetwork LoadBalancerで実現できるか確認してみようと思います。

構成

サーバ環境情報

• Ubuntu 22.04
• kubeadm/kubectl/kubelet 1.28.03
• runc 1.1.9
• containerd 1.7.5
• cni-plugin 1.3.0

実際にやってみる

Kubernetesをまずインストール

コントロールプレーン3台に入れていく。

#各種設定
cat <<EOF | tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

modprobe overlay && modprobe br_netfilter

cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF

sysctl --system

#Containerdインストール
wget https://github.com/containerd/containerd/releases/download/v1.7.5/containerd-1.7.5-linux-amd64.tar.gz
tar Cxzvf /usr/local containerd-1.7.5-linux-amd64.tar.gz 
wget -P /usr/local/lib/systemd/system/ https://raw.githubusercontent.com/containerd/containerd/main/containerd.service
systemctl daemon-reload 
systemctl enable --now containerd

#runcインストール
wget https://github.com/opencontainers/runc/releases/download/v1.1.9/runc.amd64install -m 755 runc.amd64 /usr/local/sbin/runc

#cni-pluginインストール
wget https://github.com/containernetworking/plugins/releases/download/v1.3.0/cni-plugins-linux-amd64-v1.3.0.tgz
mkdir -p /opt/cni/bin
tar Cxzvf /opt/cni/bin cni-plugins-linux-amd64-v1.3.0.tgz

#Containerd設定
mkdir -p /etc/containerd
containerd config default | tee /etc/containerd/config.toml
sed -i -e 's/sandbox_image = "registry.k8s.io\/pause:3.8/sandbox_image = "registry.k8s.io\/pause:3.9/g' /etc/containerd/config.toml
sed -i -e 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml
systemctl restart containerd

#Kubernetesインストール
apt-get update
apt-get install -y apt-transport-https ca-certificates curl
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.28/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.28/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list
apt-get update
apt-get install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl

ELBを作る

ターゲットグループ

ターゲットタイプ：インスタンス
ターゲットグループ名：お好きなように
プロトコル：TCP
ポート番号：6443
IPアドレスタイプ：IPv4
VPC：指定したもの
ヘルスチェックプロトコル：TCP
ターゲット：コントロールプレーン3台

ロードバランサー

タイプ：Network
ロードバランサー名：お好きなように
スキーム：Internet
IPアドレスタイプ；IPv4
VPC：指定したもの
マッピング：所属するAZとサブネット（パブリックサブネットを選択）
セキュリティグループ：6443ポートを許可するSG
リスナー：TCP/6443/作成したターゲットグループ

ヘルスチェックを確認

ターゲットグループにぶら下がっていることと、インスタンスへの疎通が取れている。

コントロールプレーンの起動

その他引数の指定はお好みで。

kubeadm init --control-plane-endpoint "<NLBのDNS名>:6443"