いい加減kubenetesを触りたかったけれど、ホストマシンをあんまり汚したくなかったので仮想マシン上に構築した際のメモ。

minikubeをvirtualbox+vagrant上のCentOSにインストールして動かすのに結構苦戦したので記録として残す。

実行環境

macOS 10.14.6 (Mojave)
virtualbox 6.1.12
vagrant 2.2.10

構築した環境

CentOS 7.5
docker 19.03.12
minikube 1.13.0

作業手順

基本的には公式の「Minikubeのインストール」に従った。

以下手順は全てrootユーザーで実行。

構築前準備

いきなりよくわからなくて困った。

$ grep -E --color 'vmx|svm' /proc/cpuinfo

これ実行してなんかしらの結果が返ってこないとminikubeは動かせないらしい。何も返ってこない。

解決策

どうやら、VM内でVMを作成できるような設定(Nested Virtualization)を許可しないとならないらしい。

virtualboxはv6.1以降から対応してるらしい。よかった。

ということでVagrantfileに以下の項目を追記し、vagrant reloadを実行。

  config.vm.provider "virtualbox" do |vb|
    vb.gui = false
    vb.customize ["modifyvm", :id, "--nested-hw-virt", "on"]
  end

さっきのコマンドを実行。

[root@kube ~]# grep -E --color 'vmx|svm' /proc/cpuinfo
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc eagerfpu pni pclmulqdq vmx ssse3 cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx rdrand hypervisor lahf_lm abm 3dnowprefetch tpr_shadow flexpriority fsgsbase avx2 invpcid rdseed clflushopt flush_l1d
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc eagerfpu pni pclmulqdq vmx ssse3 cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx rdrand hypervisor lahf_lm abm 3dnowprefetch tpr_shadow flexpriority fsgsbase avx2 invpcid rdseed clflushopt flush_l1d

いけた。

dockerのインストール

nonedriverでminikubeを動かすことにする。

ということでdockerのドキュメントに従いdockerをインストール。

$ yum install docker-ce docker-ce-cli containerd.io

kubectlのインストール

公式ドキュメントに従い、バイナリをダウンロードして構築する。

minikubeのインストール

公式ドキュメントに従い、スタンドアロンバイナリをダウンロードして構築する。

minikube実行

minikubeバイナリをインストールして、以下のコマンドを実行。

$ minikube start --vm-driver=none

😄  minikube v1.13.0 on Centos 7.5.1804
✨  Using the none driver based on user configuration

❌  Exiting due to GUEST_MISSING_CONNTRACK: Sorry, Kubernetes 1.19.0 requires conntrack to be installed in root's path

なにやらエラーとなった。

解決策

どうやらk8s v1.18以降はconntrackなるものをインストールしないとならないらしい。

それは失礼しました。ということでインストール。

$ yum install conntrack -y

再度minikube実行

晴れて開始コマンドを実行。

$ minikube start --vm-driver=none

stderr:
W0906 11:40:23.265166   14424 configset.go:348] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
	[WARNING Service-Docker]: docker service is not enabled, please run 'systemctl enable docker.service'
	[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
	[WARNING Swap]: running with swap on is not supported. Please disable swap
	[WARNING FileExisting-socat]: socat not found in system path
	[WARNING Service-Kubelet]: kubelet service is not enabled, please run 'systemctl enable kubelet.service'
error execution phase preflight: [preflight] Some fatal errors occurred:
	[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
To see the stack trace of this error execute with --v=5 or higher


😿  If the above advice does not help, please let us know:
👉  https://github.com/kubernetes/minikube/issues/new/choose

🤔???

ものすごいたくさん警告が出た。正直この時点でやっぱ辞めようかという気になってきた。

仕方ないんで一つ一つ解決していく。

docker周りの警告を解決していく

まず、dockerのエラーに対処する。

[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/

どうやらdockerのcgroup driverをsystemdにしろと言ってるらしい。

というか、対処法が公式ドキュメントのCRIのインストールに書いてあったので、そっくりそのまま従う。

$ cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF
$ mkdir -p /etc/systemd/system/docker.service.d
$ systemctl daemon-reload
$ systemctl restart docker

あと、どうやらdockerをenableにしないといけないらしいので、やっておく。

[WARNING Service-Docker]: docker service is not enabled, please run 'systemctl enable docker.service'

$ systemctl enable docker

swap周りの警告を解決していく

次はswapに問題があるようなので、対処していく。

若干へっぴり腰でメモリの設定に触れる。

[WARNING Swap]: running with swap on is not supported. Please disable swap

kubeadmのドキュメントに注意書きがあった。

どうやら、kubeadmの要件に、swapメモリが無効になっている必要があるとのこと。そういえばminikube起動時にkubeadmも入ってきたっけ。

ということで、こちらのQiita記事を参考にして、swapメモリを無効化する。

$ swapoff -a

socatをインストールする

[WARNING FileExisting-socat]: socat not found in system path

socatなるパッケージをインストールして対応する。

$ yum install -y socat

bridge周りのエラーを解決していく

最後はこれである。

[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1

どうやら、bridgeアダプターの設定を有効にしてあげないとならないらしい。

Oracleのドキュメントによると、docker infoとか実行すると有効化してないと警告が出るとのこと。

ということで/etc/sysctl.confを編集し、以下を追加。

net.bridge.bridge-nf-call-iptables = 1

$ sysctl -p

を実行して、net.bridge.bridge-nf-call-iptables = 1が返ってくることを確認。

再びminikube実行

エラーに対応したので、再びコマンドを実行。

minikube start --vm-driver=none

実行結果である。

😄  minikube v1.13.0 on Centos 7.5.1804
✨  Using the none driver based on existing profile

🧯  The requested memory allocation of 2200MiB does not leave room for system overhead (total system memory: 2342MiB). You may face stability issues.
💡  Suggestion: Start minikube with less memory allocated: 'minikube start --memory=2200mb'

👍  Starting control plane node minikube in cluster minikube
🔄  Restarting existing none bare metal machine for "minikube" ...
ℹ️  OS release is CentOS Linux 7 (Core)
🐳  Preparing Kubernetes v1.19.0 on Docker 19.03.12 ...
🤹  Configuring local host environment ...

❗  The 'none' driver is designed for experts who need to integrate with an existing VM
💡  Most users should use the newer 'docker' driver instead, which does not require root!
📘  For more information, see: https://minikube.sigs.k8s.io/docs/reference/drivers/none/

❗  kubectl and minikube configuration will be stored in /root
❗  To use kubectl or minikube commands as your own user, you may need to relocate them. For example, to overwrite your own settings, run:

    ▪ sudo mv /root/.kube /root/.minikube $HOME
    ▪ sudo chown -R $USER $HOME/.kube $HOME/.minikube

💡  This can also be done automatically by setting the env var CHANGE_MINIKUBE_NONE_USER=true
🔎  Verifying Kubernetes components...
🌟  Enabled addons: default-storageclass, storage-provisioner
🏄  Done! kubectl is now configured to use "minikube" by default

動いた!!

これでminikubeを弄れる。