前提

https://qiita.com/ta_yaboo/items/1c86d1f94d0ffa0d9bae
https://qiita.com/ta_yaboo/items/ac8408b500052523fe9f
https://qiita.com/ta_yaboo/items/f442127db50385ba600a
これらで紹介した通り、raspberryPIを使ってkubernetesクラスタを構築したところまではよかったのだけれども、サーバーとして使うことはできない状態でした。

問題点

クリアしないといけない問題と解決方法は以下の通りです。

クラスタ内で名前解決ができない

試しにnginxのコンテナを突っ込んだPodとServiceをデプロイしてみました。

deployment.yaml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    run: label-nginx
  name: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      run: label-nginx
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
    type: RollingUpdate
  template:
    metadata:
      labels:
        run: label-nginx
    spec:
      containers:
      - image: nginx
        imagePullPolicy: Always
        name: nginx
        ports:
        - containerPort: 80
          protocol: TCP
        resources: {}
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30

service.yaml

apiVersion: v1
kind: Service
metadata:
  name: nginx
spec:
  type: NodePort
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: label-nginx

$ kubectl apply -f manifest/sample/deployment.yaml 
deployment.extensions/nginx created
$ kubectl apply -f manifest/sample/service.yaml 
service/nginx created

しかしアクセスができません。

$ curl nginx
curl: (6) Could not resolve host: nginx
$ curl nginx.default.svc.cluster.local
curl: (6) Could not resolve host: nginx.default.svc.cluster.local

IPアドレスでならアクセスできます。

$ kubectl get svc
NAME                  TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
kubernetes            ClusterIP   10.96.0.1       <none>        443/TCP          26d
nginx                 NodePort    10.99.135.187   <none>        80:32135/TCP     2m

$ curl 10.99.135.187
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
以下略

どうやら名前解決ができないようです。

podのdns設定はどうなっているのでしょうか？
試しにkube-proxyの設定など見てみましょう

$ kubectl get po -n kube-system
NAME                                   READY     STATUS    RESTARTS   AGE
coredns-78fcdf6894-725zx               1/1       Running   8          11d
coredns-78fcdf6894-p79bk               1/1       Running   8          11d
etcd-raspberrypi0                      1/1       Running   28         13d
kube-apiserver-raspberrypi0            1/1       Running   44         13d
kube-controller-manager-raspberrypi0   1/1       Running   28         13d
kube-flannel-ds-6w79w                  1/1       Running   13         13d
kube-flannel-ds-dtv9z                  1/1       Running   18         13d
kube-flannel-ds-gq29f                  1/1       Running   12         13d
kube-proxy-ljz2s                       1/1       Running   7          13d
kube-proxy-rjd2h                       1/1       Running   7          13d
kube-proxy-wd58n                       1/1       Running   8          13d
kube-scheduler-raspberrypi0            1/1       Running   28         13d
$ kubectl exec -it kube-proxy-ljz2s -n kube-system /bin/sh
# cat /etc/resolv.conf
nameserver 192.168.11.1

あ！おうちのルーターがDNSになってる。これは、いかん！！
後の問題にも関連してくるのでまとめると、今のネットワークはこのようになっています

podのサブネットは10.244.0.0/16なんだけど、基本的にpodに直接アクセスするようなことはしないので気にしないでおこう。
kubernetes内のリソースについて名前解決を行うにはkube-dns（Service）にアクセスしなければなりません。Serviceまでアクセスしたらcorednsにリクエストが振られて名前解決できるわけです。

podのDNSの設定はデフォルトではノードの設定を引き継ぐので各ノードの設定を変えてあげます。そうすると先に試したようにクラスタ内のノードからでもPod間通信でも名前解決ができます。
こちらで紹介したようにDNSの設定もDHCP（ルーター）から取るようにしていたのでルーターの設定でDNSサーバーのアドレスを手動設定にします。ルーターによって設定の仕方は異なりますが、BUFFALOのAirStationだと [Internet/LAN] > [LAN] にそのメニューがありました。
プライマリはこれまで通り、ルーターのアドレスにしてセカンダリにkube-dnsのアドレス（10.96.0.10）を設定しました。

念のため、全ノードと全Podを再起動して（Podの再起動は全てのPodをDeleteしました。通常Podを作成しているDeploymentやDaemonSetなど上位リソースが存在するのでPodを消しても自動で再作成されます。）もう一度試します。

$ curl nginx.default.svc.cluster.local
curl: (6) Could not resolve host: nginx.default.svc.cluster.local

あれ？？

$ nslookup nginx.default.svc.cluster.local
Server:		10.96.0.10
Address:	10.96.0.10#53

Name:	nginx.default.svc.cluster.local
Address: 10.99.135.187

なんでやねんw (ちなみにnslookupはこのためにインストールしました)
これで3日ほど悶々としたのですが、お手上げでした。
が、3日ほど経ったらなぜか繋がるようになりました。キャッシュが悪さしてたりしたのかな？？

クラスタ外でも名前解決ができない

クラスタ内で名前解決できないんだから当然なんだけど。。。
先の設定でDNSサーバーの設定はできました。
が、クラスタ外からはネットワークセグメントが異なるのでアクセスできません。

最初はクラスタ外からはDNSはraspiのmasterのアドレスを設定してmasterでポートフォワードの設定してあげたらいいのかなと思ってたけど、もっと簡単な方法がありました。

それはルーターの経路情報(ルーティング)の設定です。
これまたBUFFALOのAirStationだと [Internet/LAN] > [経路情報] にそのメニューがありました。
宛先はServiceのネットワークなので、先ほど図に書いた通り、10.96.0.0/12 つまり、
10.96.0.0でサブネットマスクは255.240.0.0です。ゲートウェイはmasterの192.168.11.41です。
これでルーターがDNSへのリクエストをよしなにルーティングしてくれます。

では、ここはひとつwifiに繋いだケータイからアクセスしてみましょう。

無事アクセスできました！
これでクラスタ内でも外でも自由にリクエストのやり取りができます。
さて、何のアプリを置こうかな。