# デバイスを確認
$ lsblk -p

# microSDをunmount
$ umount /dev/sda1

# イメージの書き込み
$ sudo dd bs=4M if=2019-09-26-raspbian-buster-lite.img of=/dev/sda status=progress conv=fsync
$ sync

# microSDを取り外し、再度取り付ける

# 起動時にsshを有効にする設定
$ touch /media/reireias/boot/ssh

# Dockerを利用するために、cgroupに関する設定を追加します
$ vi /media/reireias/boot/cmdline.txt
# 下記を末尾に追加します
cgroup_enable=cpuset cgroup_enable=memory cgroup_memory=1

# authorized_keysの設定
$ scp ~/.ssh/id_rsa.pub pi@ip:/tmp/authorized_keys
$ ssh pi@ip
$ mkdir ~/.ssh
$ cp /tmp/authorized_keys ~/.ssh/authorized_keys

# 初期パスワードを変更
$ sudo passwd pi

# swapを無効化
$ sudo systemctl disable dphys-swapfile.service

# ホスト名を設定
# 今回は pikube01 ~ pikube03 という名前にしました
$ sudo vi /etc/hosts
$ sudo vi /etc/hostname

# 何らかの手段でIPを固定化しておくと便利でしょう
# 私はルーターの機能で固定DHCPを設定しています

# packageの更新
$ sudo apt update
$ sudo apt upgrade

# もろもろを反映させるために再起動
$ sudo reboot

$ sudo apt install git
$ git clone https://github.com/kedei/LCD_driver
$ chmod -R 777 LCD_driver
$ cd LCD_driver
$ ./LCD35_show

$ sudo vi /etc/default/console-setup
# 下記を設定
FONTFACE="Terminus"
FONTSIZE="8x16"

# dockerのインストール
# Debian busterのarm用パッケージはまだ配信されていないので、debファイルをダウンロードし、インストールしている
$ wget https://download.docker.com/linux/debian/dists/buster/pool/stable/armhf/containerd.io_1.2.6-3_armhf.deb
$ wget https://download.docker.com/linux/debian/dists/buster/pool/stable/armhf/docker-ce-cli_19.03.5~3-0~debian-buster_armhf.deb
$ wget https://download.docker.com/linux/debian/dists/buster/pool/stable/armhf/docker-ce_19.03.5~3-0~debian-buster_armhf.deb
$ sudo dpkg -i containerd.io_1.2.6-3_armhf.deb
$ sudo dpkg -i docker-ce-cli_19.03.5~3-0~debian-buster_armhf.deb
$ sudo dpkg -i docker-ce_19.03.5~3-0~debian-buster_armhf.deb
$ sudo usermod pi -aG docker

$ sudo update-alternatives --set iptables /usr/sbin/iptables-legacy
$ sudo update-alternatives --set ip6tables /usr/sbin/ip6tables-legacy
$ sudo update-alternatives --set arptables /usr/sbin/arptables-legacy
$ sudo update-alternatives --set ebtables /usr/sbin/ebtables-legacy
$ sudo apt update && sudo apt install -y apt-transport-https curl
$ curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
$ cat <<EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list
deb https://apt.kubernetes.io/ kubernetes-xenial main
EOF
$ sudo apt update
$ sudo apt install -y kubelet kubeadm kubectl
$ sudo apt-mark hold kubelet kubeadm kubectl

# マスターノードの初期化
# IPは後述のflannelを使う都合でこれで固定
$ sudo kubeadm init --pod-network-cidr=10.244.0.0/16

# kubectlを実行できるように設定
$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

# コンテナ用ネットワークファブリックのflannelを構築
$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 作成できたか確認
$ kubectl get pod --all-namespaces

# master node作成時に出力されたコマンドを入力
$ kubeadm join 192.168.xx.yy:6443 --token xxxxxxxxxxxxxxxxxxx \
    --discovery-token-ca-cert-hash sha256:zzzzzzzzzzzzzzzzz

$ kubectl get nodes
# 下記のように表示されればOK
NAME       STATUS     ROLES    AGE     VERSION
pikube01   Ready      master   4m29s   v1.17.2
pikube02   Ready      <none>   47s     v1.17.2
pikube03   Ready      <none>   38s     v1.17.2

# ROLESがnoneなので、labelをつける
$ kubectl label node pikube02  node-role.kubernetes.io/worker=
$ kubectl label node pikube03  node-role.kubernetes.io/worker=

# 再確認
# ROLESが意図通りになっている
$ kubectl get nodes
NAME       STATUS   ROLES    AGE     VERSION
pikube01   Ready    master   8m38s   v1.17.2
pikube02   Ready    worker   4m56s   v1.17.2
pikube03   Ready    worker   4m47s   v1.17.2

# master node(pikube01)上で下記を実行し、出力をコピー
$ kubectl config view --raw

# kubectlを実行できるようにしたいマシン上で下記を実施
$ vi ~/.kube/config
# 先程コピーした設定を書き込む

# 動作確認
$ kubectl get nodes

# 全てのnode上で下記を実施し、MetalLBで利用する通信が疎通できるようにする
$ sudo sysctl net.ipv4.conf.all.forwarding=1
$ sudo iptables -P FORWARD ACCEPT

# MetalLBの構築
kubectl apply -f https://raw.githubusercontent.com/google/metallb/v0.8.3/manifests/metallb.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  namespace: metallb-system
  name: config
data:
  config: |
    address-pools:
      - name: default
        protocol: layer2
        addresses:
          - 192.168.99.200-192.168.99.220

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 1
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  selector:
    app: nginx
  ports:
    - port: 80
      targetPort: 80
  type: LoadBalancer

# 上記ファイルをapply
$ kubectl apply -f nginx.deployment.yml

# serviceを取得し、ExternalIPにIPが割り当てられていることを確認
$ kubectl get service
NAME            TYPE           CLUSTER-IP      EXTERNAL-IP      PORT(S)        AGE
kubernetes      ClusterIP      10.96.0.1       <none>           443/TCP        5d2h
nginx-service   LoadBalancer   10.97.205.133   192.168.99.200   80:32198/TCP   4d2h

# curlで上記ExternalIPへアクセスし、Welcome to Nginx! が返ることを確認する 

diff --git a/deploy/1.8+/metrics-server-deployment.yaml b/deploy/1.8+/metrics-server-deployment.yaml
index e4bfeaf..f7c72f1 100644
--- a/deploy/1.8+/metrics-server-deployment.yaml
+++ b/deploy/1.8+/metrics-server-deployment.yaml
@@ -29,10 +29,12 @@ spec:
         emptyDir: {}
       containers:
       - name: metrics-server
-        image: k8s.gcr.io/metrics-server-amd64:v0.3.6
+        image: k8s.gcr.io/metrics-server-arm:v0.3.6
         args:
           - --cert-dir=/tmp
           - --secure-port=4443
+          - --kubelet-insecure-tls
+          - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
         ports:
         - name: main-port
           containerPort: 4443
@@ -47,4 +49,4 @@ spec:
           mountPath: /tmp
       nodeSelector:
         beta.kubernetes.io/os: linux
-        kubernetes.io/arch: "amd64"
+        kubernetes.io/arch: "arm"

# ディレクトリ以下をapplyする
$ kubectl  apply -f deploy/1.8+/

# コマンドの確認
$ kubectl top node
NAME       CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   
pikube01   385m         9%     649Mi           17%       
pikube02   167m         4%     448Mi           11%       
pikube03   175m         4%     435Mi           11%

# clone後、下記コマンドでarm[^1]用バイナリをビルド
GOOS=linux GOARCH=arm GOARM=7 go build

# scpでディスプレイを接続しているノード = マスターに転送
# パスが通っている場所へ移動
$ sudo mv /tmp/sampler /usr/bin

gauges:
  - title: pikube01 CPU
    position: [[0, 0], [40, 6]]
    rate-ms: 30000
    color: 10
    percent-only: true
    cur:
        sample: cat /tmp/kube-node | grep pikube01 | awk '{print $3}' | tr -d "%"
    max:
        sample: echo 100
    min:
        sample: echo 0
  - title: pikube02 CPU
    position: [[0, 7], [40, 6]]
    rate-ms: 30000
    color: 13
    percent-only: true
    cur:
        sample: cat /tmp/kube-node | grep pikube02 | awk '{print $3}' | tr -d "%"
    max:
        sample: echo 100
    min:
        sample: echo 0
  - title: pikube03 CPU
    position: [[0, 13], [40, 6]]
    rate-ms: 30000
    color: 14
    percent-only: true
    cur:
        sample: cat /tmp/kube-node | grep pikube03 | awk '{print $3}' | tr -d "%"
    max:
        sample: echo 100
    min:
        sample: echo 0
  - title: pikube01 Mem
    position: [[40, 0], [40, 6]]
    rate-ms: 30000
    color: 10
    cur:
        sample: cat /tmp/kube-node | grep pikube01 | awk '{print $4}' | tr -d "Mi"
    max:
        sample: echo 4096
    min:
        sample: echo 0
  - title: pikube02 Mem
    position: [[40, 7], [40, 6]]
    rate-ms: 30000
    color: 13
    cur:
        sample: cat /tmp/kube-node | grep pikube02 | awk '{print $4}' | tr -d "Mi"
    max:
        sample: echo 4096
    min:
        sample: echo 0
  - title: pikube03 Mem
    position: [[40, 13], [40, 6]]
    rate-ms: 30000
    color: 14
    cur:
        sample: cat /tmp/kube-node | grep pikube03 | awk '{print $4}' | tr -d "Mi"
    max:
        sample: echo 4096
    min:
        sample: echo 0
textboxes:
  - title: Status
    position: [[0, 19], [80, 23]]
    rate-ms: 30000
    sample: >-
      kubectl top node > /tmp/kube-node;
      kubectl get all --all-namespaces > /tmp/kube-all;
      echo "Pod:$(cat /tmp/kube-all | grep pod/ | grep 'Running' | wc -l)"
      "Service:$(cat /tmp/kube-all | grep service/ | wc -l)"
      "Daemonset:$(cat /tmp/kube-all | grep daemonset.apps/ | wc -l)"
      "Deployment:$(cat /tmp/kube-all | grep deployment.apps/ | wc -l)"
      "Replicaset:$(cat /tmp/kube-all | grep replicaset.apps/ | wc -l)";
      echo "";
      echo "Service";
      kubectl get svc --no-headers | grep -v ClusterIP | awk '{print $1, $4, $5}' | column -t;