最近Kubernetesの勉強を始めたら、会社の余っていたラズパイを使わせてもらえることになったので、Kubernetesクラスタを構築してみました。
OSに2019/07時点の最新版「Ruspbian Buster」を選択したことで、Pod間通信ができないという課題が発生したため、解決策と解決までの経緯を記載します。

クラスタ構築にあたり、こちらの記事「Raspberry PiでおうちKubernetes構築【論理編】」を参考にさせていただきました。ありがとうございました。

バージョン

OS: Raspbian 10 (buster)
docker: 18.09.8
kubeadm/kubelet/kubectl: 1.15.1

課題

Pod間通信ができない

解決策

Debian 10 (Buster)からiptablesのバージョンが変わったようで、kubernetes用の書き換えができていませんでした。
以下のコマンドでiptables-legacyを選択して再起動後にPod間通信ができるようになりました。

$ sudo update-alternatives --config iptables
There are 2 choices for the alternative iptables (providing /usr/sbin/iptables).

  Selection    Path                       Priority   Status
------------------------------------------------------------
* 0            /usr/sbin/iptables-nft      20        auto mode
  1            /usr/sbin/iptables-legacy   10        manual mode
  2            /usr/sbin/iptables-nft      20        manual mode

Press <enter> to keep the current choice[*], or type selection number: 1

課題発生から解決までの経緯

kubeadmでMasterNodeとWorkerNodeを設定してFlannelを導入、動作確認のため『Kubernetes完全ガイド』の付録マニフェストのリポジトリからnginx-deploymentとnginx-nodeportをapplyしてみたのですが、うまくサービスに繋がらず。

kubectl get pods -n kube-systemでstatic Podを確認すると、corednsのPod(replicas: 2)がすべてErrorとなっており
kubectl describeにてイベントを確認すると、社内DNSサーバに繋がらないことによるReadinessProbeヘルスチェックに引っかかっていました。
nginxイメージにpingコマンドがなかったため、busyboxイメージのPodを作成して確認をしたところ、自Node他Pod/他Node他Podへpingが通りませんでした。

iptablesを確認したところ、filterテーブルのKUBE-FIREWALLチェインに大量のDROP、natテーブルのKUBE-POSTROUTINGチェインに大量のMASQUERADEが追加されていました。
うまく構築できていたGCPのK8sクラスタのiptablesと比較すると、filterテーブルとnatテーブルにkubernetes関連のルールが書き換えられていないことがわかりました。

GCP上のクラスタから手動でnatテーブルの設定を移植したところ、Podから他Podへのping成功！ということはnatテーブルをうまく書き換えられていないkubeletが犯人では！？と色々調査をしたのですが結局違いました。

その後、OSをUbuntuと１つ前のRaspbian stretchに入れ替えたところ、ともにPod間通信できたのでRaspbian busterがよろしくないと判断し、stretchとbusterの変更を調べていくとiptablesのバージョンが上がったことに気づき、解決策に辿り着きました。
~~初めから試しておけばよかった…~~

そもそも、iptables確認したときにiptables-legacyのことについてメッセージが出ていたので、ちゃんと読んでいればもっと早く解決できたはず…

$ sudo iptables -nvL
Chain INPUT (policy ACCEPT 0 packets, 0 bytes)
︙
# Warning: iptables-legacy tables present, use iptables-legacy to see them

教訓

メッセージはちゃんと読め

課題を解決する中で得た知識

kubernetesでは複数のコンポーネントがiptablesを書き換えている

[filter]
KUBE-FIREWALL　←　kubelet
KUBE-SERVICES　←　kube-proxy
KUBE-FORWARD 　←　flannel

[nat]
KUBE-POSTROUTING　←　kubelet