はじめに
この記事では，VPSと家のPCをVPN（WireGuard）で繋ぎ，VPSをマスターとして，家のPCをそのノードとして，Kubernetesのクラスターを構築する方法を記します．
構成イメージ図
練習環境
構築の練習としてVultr上にVPSを2台用意し，片方を家のPCの代わりとして利用します．
以下に示す構成で構築した場合，Vultr側から各VPSのIPとrootのパスワードを示してくれます．
PermitRootLogin yesの状態になっているので，そのままrootでSSH接続して試し終わったらVPSを削除すればいいと思います．
1時間以内には終わると思います．（約4円！Wow！）
構成
| 項目 | 内容 |
|---|---|
| Server Location | Tokyo |
| Server Type | Ubuntu 18.04 |
| Server Size | 55GB SSD / 1CPU / 2048MB Memory |
Additional Features
| 項目 | 内容 |
|---|---|
| Enable IPv6 | no |
| Enable Private Networking | no |
Server Hostname & Label
- Server1
- Server2
※ Server2を家のPCの代わりとして利用します
WireGuardのネットワークについて
WireGuardを使ったVPNで利用するIPは
- Server1: 10.0.0.1
- Server2: 10.0.0.2
を利用し，ポートは33333を利用します．
構築手順
共通の手順
VPN(WireGuard)のインストール
WireGuardは簡単にVPNができる技術です．
WireGuardのインストールは公式の手順と同じ感じに行います．
# add-apt-repository ppa:wireguard/wireguard
# apt update
# apt install wireguard
Dockerのインストール
Dockerはコンテナ型の仮想化環境を提供するオープンソースソフトウェアです．
Dockerのインストールも公式の手順と同じ感じに行います．
インストールするdokcer-ceはこの記事を書いた時点のKubernetes v1.13.4に対応する18.06.3~ce~3-0~ubuntuをインストールしています．
また，apt-markを使ってdocker-ceがapt upgradeで更新されないようにしています，
# apt update
# apt install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
# curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -
# add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
# apt update
# apt install docker-ce=18.06.3~ce~3-0~ubuntu
# apt-mark hold docker-ce
Kubeadmのインストール
Kubernetesはコンテナオーケストレーションシステムです．
Kubeadmは公式が提供しているkubernetesクラスターを構築するためのツールです．
Kubeadmのインストールも公式の手順と同じ感じに行います．
# apt update
# apt install apt-transport-https curl
# curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
# add-apt-repository "deb https://apt.kubernetes.io/ kubernetes-xenial main"
# apt update
# apt install kubelet kubeadm kubectl
# apt-mark hold kubelet kubeadm kubectl
WireGuardのセットアップ
WireGuardの秘密鍵と公開鍵の生成
各サーバーでWireGuardを使ったVPNを行うために鍵を生成します．
公式の手順に従います．
片方のサーバーで二つ生成しても問題はありません．
# wg genkey | tee privatekey | wg pubkey > publickey
WireGuardの設定ファイルの用意
WireGuradのインターフェースwg0の設定ファイルを用意します．
PostUpで後々Kubernetesのポッド間通信を実現するためのネットワーク設定をしています．
PostDownではその設定を消しています．
Server1
[Interface]
Address = 10.0.0.1
PrivateKey = {{ Server1の秘密鍵 }}
PostUp = ip route add 10.96.0.0/16 dev wg0 src 10.0.0.1
PostDown = ip route del 10.96.0.0/16 dev wg0 src 10.0.0.1
ListenPort = 33333
[Peer]
PublicKey = {{ Server2の公開鍵 }}
AllowedIps = 10.0.0.2/32
Endpoint = {{ Server2のグローバルIP }}:33333
PersistentKeepalive = 25
Server2
[Interface]
Address = 10.0.0.2
PrivateKey = {{ Server2の秘密鍵 }}
PostUp = ip route add 10.96.0.0/16 dev wg0 src 10.0.0.2
PostDown = ip route del 10.96.0.0/16 dev wg0 src 10.0.0.2
ListenPort = 33333
[Peer]
PublicKey = {{ Server1の公開鍵 }}
AllowedIps = 10.0.0.1/32
Endpoint = {{ Server1のグローバルIP }}:33333
PersistentKeepalive = 25
WireGuardのインターフェースの起動
各サーバーでwg-quick@.serviceを利用してwg0を起動します．
wg-quick@.service中ではwg-quickコマンドでインターフェースを起動しているのですが，デフォルトで/etc/wireguard/を参照するようになっています．
# systemctl start wg-quick@wg0
# systemctl enable wg-quick@wg0
WireGuardの動作確認
動作しているかはwgコマンドを使って確認できます．
pingコマンドでも確認できます．
# wg
interface: wg0
public key: **************************************
private key: (hidden)
listening port: 33333
peer: **************************************
endpoint: XXX.XXX.XXX.XXX:33333
allowed ips: 10.0.0.2/32
latest handshake: 10 seconds ago
transfer: 5.70 MiB received, 20.25 MiB sent
persistent keepalive: every 25 seconds
# ping 10.0.0.1 -c 3
PING 10.0.0.1 (10.0.0.1) 56(84) bytes of data.
64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.042 ms
64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.068 ms
64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=1.63 ms
--- 10.0.0.1 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2047ms
rtt min/avg/max/mdev = 0.042/0.582/1.636/0.745 ms
# ping 10.0.0.2 -c 3
PING 10.0.0.2 (10.0.0.2) 56(84) bytes of data.
64 bytes from 10.0.0.2: icmp_seq=1 ttl=64 time=5.31 ms
64 bytes from 10.0.0.2: icmp_seq=2 ttl=64 time=5.70 ms
64 bytes from 10.0.0.2: icmp_seq=3 ttl=64 time=5.56 ms
--- 10.0.0.2 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 5.312/5.529/5.706/0.163 ms
kubernetesクラスターのセットアップ
Server1をマスターとして，Server2をワーカーとしてセットアップします．
公式の手順と同じ感じで行います．
利用するpod network add-onはWeave Netです．
Server1のセットアップ
Kubernetesマスターのセットアップ
# kubeadm init --apiserver-advertise-address=10.0.0.1 --ignore-preflight-errors=NumCPU
...
You can now join any number of machines by running the following on each node
as root:
kubeadm join 10.0.0.1:6443 --token ***...*** --discovery-token-ca-cert-hash sha256:***...***
--ignore-preflight-errors=NumCPUは今回練習で利用しているVPSのCPUが1個なので，そのエラーを無視するためのものです．
kubeadm join 10.0.0.1:6443 --token ***...*** --discovery-token-ca-cert-hash sha256:***...***はServer2のセットアップで使います
Weave Netのセットアップ
# echo "net.bridge.bridge-nf-call-iptables=1" > /etc/sysctl.d/k8s.conf
# sysctl --system
# export KUBECONFIG=/etc/kubernetes/admin.conf
# kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"
MasterでもPodが建てれるように設定
# export KUBECONFIG=/etc/kubernetes/admin.conf
# kubectl taint nodes --all node-role.kubernetes.io/master-
Server2のセットアップ
クラスターへの参加
# kubeadm join 10.0.0.1:6443 --token ***...*** --discovery-token-ca-cert-hash sha256:***...***
Kubernetesクラスターの動作確認
少しだけ時間をおいてServer1側でkubectl nodeを使って状態を確認します．
# export KUBECONFIG=/etc/kubernetes/admin.conf
# kubectl get node
NAME STATUS ROLES AGE VERSION
server1 Ready master **m v1.13.4
server2 Ready <none> **m v1.13.4
Nodeを指定してPodを建てれるようにlabelの設定
参考記事: kubernetes: 特定のコンテナ(Pod)だけ特定のホストで
# export KUBECONFIG=/etc/kubernetes/admin.conf
# kubectl label nodes server1 type=server1
# kubectl label nodes server2 type=server2
おわり
あとは，このKubernetesクラスターを自由に使ってみればいいと思います．