はじめに
何番煎じかわからないけどkubeadmを使っておうちkubernetesを構築したので忘備録として。
多々間違っているところがあるかもしれないです。
環境
| 種別 | PC | OS |
|---|---|---|
| マスター | Mac Mini late 2012 | Ubuntu 20.04.3 LTS |
| ワーカー | ラズパイ3B+ | Raspberry Pi OS Lite 32Bit |
共通手順
インストール時にhostnameとかは設定済み
パッケージ周り更新
sudo apt-get update && sudo apt-get -y upgrade
swapを無効化
sudo vim /etc/fstab
# コメントアウトしてswapを無効化
# /swap.img none swap sw 0 0
{{ hostname }}.local でアクセスできるようにする
sudo apt-get install -y avahi-daemon
Dockerをインストール
# インストール
sudo apt-get install -y docker
# dockerをsudoなしで使えるように
sudo usermod -aG docker $USER
# dockerが常時起動されるか確認
systemctl is-enabled docker
# enableが出力されなかった場合は常時起動を有効化
systemctl enable docker
Dockerのcgroup driverをsystemdに変更する
dockerのcgroup driverは cgroupfs が使用されているが、kubeadmはデフォルトで systemd を使用するため、cgroup driverを合わせなければいけない。
今回はdockerのcgroup driverを systemd に変更して合わせるようにした。
# docker daemonの設定を作成
sudo vim /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
# daemonを再起動
systemctl daemon-restart
systemctl restart docker
Dockerが動くか確認
# dockerコンテナ起動
docker run -p 80:80 nginx
# 疎通確認
curl http://{{ hostname }}.local
# 確認できたらコンテナ削除
docker rm {{ CONTAINER_ID }}
k8s周りのパッケージインストール
# dockerのGPGキーを取得
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add
# kubernetesのレポジトリを追加
sudo apt-add-repository "deb http://apt.kubernetes.io/ kubernetes-xenial main"
# httpでパッケージ追加できるように
sudo apt-get install -y apt-transport-https
# k8s周りのパッケージインストール
sudo apt-get install -y kubeadm kubelet kubectl kubernetes-cni
マスターノード構築
kubeadmでマスターノード構築
# マスターノード構築 (cirdrはflannelを使用するので固定)
kubeadm init --pod-network-cidr=10.244.0.0/16
# kubeconfig作成
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
# ワーカーノードjoin用コマンドをメモしておく
# kubeadm join {{ ip_address }} ~~~ をコピー
kubectlが使えるか確認
kubectl get node
とか
kubectl get pod --all-namespaces
この時点ではcorednsはまだpendingになってておｋ。
flannel導入
kubectl apply -f https://github.com/flannel-io/flannel/blob/master/Documentation/kube-flannel.yml
ここで kubectl get pod --all-namespaces して core-dnsが起動していればおｋ。
ワーカーノード構築
kubeadmでjoin
# マスターノード構築時にメモったやつ
sudo kubeadm join {{ MASTER_IP }}:6443 --token {{ TOKEN }} --discovery-token-ca-cert-hash {{ SHA256_HASH }}
# 確認(masterで操作)
kubectl get node
# ワーカーノードのstatusがReadyになってればおｋ
トラブルシューティング
この時点でのトラブルはkubeletの起動周りが多いので、systemctl status kubelet や journalctl -u kubelet などでログを確認する。
以下よくハマったやつ。
err="open /run/systemd/resolve/resolv.conf: no such file or directory
これ今の所再起動すると毎回起きる。。。
自分で作ってあげれば解決。
sudo mkdir -p /run/systemd/resolve
sudo ln -s /etc/resolv.conf /run/systemd/resolve/resolv.conf
failed to run Kubelet: misconfiguration: kubelet cgroup driver: "systemd" is different from docker cgroup driver: "cgroupfs"
dockerとkubeletのcgroup driverがあってないやつ。
上の方でやってる /etc/docker/daemon.json 作って再起動すれば解決。