#1 Minikubeとは?
Minikubeは、単一ノードのKubernetes環境を構築するためのコマンドです。
複数台から構成される環境は構築できません。

ここでは、下記公式ページにしたがって、MinikubeによるKubernetes環境を構築してみました。
https://kubernetes.io/docs/tasks/tools/install-minikube/#before-you-begin

#2 環境
VMware Workstation 14 Player上の仮想マシンを使いました。
仮想マシンのOS版数は以下のとりです。仮想マシンは、最小構成で作成しました。

OS版数

[root@master ~]# cat /etc/redhat-release
CentOS Linux release 7.4.1708 (Core)

[root@master ~]# uname -r
3.10.0-693.el7.x86_64

#3 仮想マシンをIntel-VT対応に変更

「Intel VT-x...」のチェックボックスをONにして、仮想マシンを起動します。

仮想マシンが起動したら、Intel-VT対応かどうかを確認します。
なお、lscpuコマンドのインストール方法は、ここ(lscpuコマンドの使い方)を参照してください。

ゲストマシンの確認

[root@master ~]# lscpu |grep vmx
Flags:                 fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon nopl xtopology tsc_reliable nonstop_tsc eagerfpu pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch tpr_shadow vnmi ept vpid fsgsbase tsc_adjust bmi1 avx2 smep bmi2 invpcid mpx rdseed adx smap clflushopt xsaveopt xsavec arat

/proc/cpuinfoの中身を直接確認することもできます。
[root@master ~]# cat /proc/cpuinfo |grep vmx
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon nopl xtopology tsc_reliable nonstop_tsc eagerfpu pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch tpr_shadow vnmi ept vpid fsgsbase tsc_adjust bmi1 avx2 smep bmi2 invpcid mpx rdseed adx smap clflushopt xsaveopt xsavec arat
（以下、略）

#4 kubectlコマンドのインストール

リポジトリの追加

[root@master ~]# vi /etc/yum.repos.d/kubernetes.repo
[root@master ~]# cat /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg

kubectlパッケージのインストール

[root@master ~]# yum install -y kubectl

[root@master ~]# kubectl version
Client Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.4", GitCommit:"5ca598b4ba5abb89bb773071ce452e33fb66339d", GitTreeState:"clean", BuildDate:"2018-06-06T08:13:03Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.0", GitCommit:"fc32d2f3698e36b93322a3465f63a14e9f0eaead", GitTreeState:"clean", BuildDate:"2018-03-26T16:44:10Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"}

#5 VirtualBoxのインストール

下記ページよりVirtualBoxパッケージをダウンロードします。
https://www.virtualbox.org/wiki/Linux_Downloads

VirtualBoxパッケージのダウンロード

[root@master ~]# wget https://download.virtualbox.org/virtualbox/5.2.12/VirtualBox-5.2-5.2.12_122591_el7-1.x86_64.rpm
--2018-06-20 19:52:52--  https://download.virtualbox.org/virtualbox/5.2.12/VirtualBox-5.2-5.2.12_122591_el7-1.x86_64.rpm
download.virtualbox.org (download.virtualbox.org) をDNSに問いあわせています... 23.217.126.192
download.virtualbox.org (download.virtualbox.org)|23.217.126.192|:443 に接続しています... 接続しました。

[root@master ~]# ls VirtualBox-5.2-5.2.12_122591_el7-1.x86_64.rpm
VirtualBox-5.2-5.2.12_122591_el7-1.x86_64.rpm

ダウンロードしたパッケージをインストールします。
私の環境では、以下のようなエラーが発生しました。

VirtualBoxパッケージのインストール

[root@master ~]# rpm -ivh VirtualBox-5.2-5.2.12_122591_el7-1.x86_64.rpm
警告: VirtualBox-5.2-5.2.12_122591_el7-1.x86_64.rpm: ヘッダー V4 DSA/SHA1 Signature、鍵 ID 98ab5139: NOKEY
エラー: 依存性の欠如:
        libGL.so.1()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libICE.so.6()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libSDL-1.2.so.0()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libSM.so.6()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libX11-xcb.so.1()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libX11.so.6()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libXcursor.so.1()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libXext.so.6()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libXinerama.so.1()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libXmu.so.6()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libXrender.so.1()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libXt.so.6()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libfontconfig.so.1()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libpng15.so.15()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libpng15.so.15(PNG15_0)(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libvpx.so.1()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています
        libxcb.so.1()(64bit) は VirtualBox-5.2-5.2.12_122591_el7-1.x86_64 に必要とされています

エラーメッセージに表示されたパッケージインストールします。

パッケージの追加インストール

[root@master ~]# yum -y install libGL* libICE* libSDL* libSM* libX11* libXcursor* libXext* libXinerama* libXmu* libXrender* libXt* libfontconfig* libpng15* libvpx* libxcb*

再度、VirtualBoxパッケージをインストールします。
私の環境では、インストール完了まで少し時間(数分)がかかりました。

改めてVirtualBoxのインストール

[root@master ~]# rpm -ivh VirtualBox-5.2-5.2.12_122591_el7-1.x86_64.rpm
警告: VirtualBox-5.2-5.2.12_122591_el7-1.x86_64.rpm: ヘッダー V4 DSA/SHA1 Signature、鍵 ID 98ab5139: NOKEY
準備しています...              ################################# [100%]
更新中 / インストール中...
   1:VirtualBox-5.2-5.2.12_122591_el7-################################# [100%]

Creating group 'vboxusers'. VM users must be member of that group!

#6 minikubeコマンドのインストール

minikubeコマンドのダウンロード&インストール

[root@master ~]# curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 && chmod +x minikube && sudo mv minikube /usr/local/bin/
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 40.8M  100 40.8M    0     0   121k      0  0:05:43  0:05:43 --:--:--  143k

minikubeの版数

[root@master ~]# minikube version
minikube version: v0.28.0

利用可能なKubernetes一覧

[root@master ~]# minikube get-k8s-versions
The following Kubernetes versions are available when using the localkube bootstrapper:
        - v1.10.0
        - v1.9.4
        - v1.9.0
        - v1.8.0
        - v1.7.5
        - v1.7.4
        - v1.7.3
        - v1.7.2
        - v1.7.0
        - v1.7.0-rc.1
        - v1.7.0-alpha.2
        - v1.6.4
        - v1.6.3
        - v1.6.0
        - v1.6.0-rc.1
        - v1.6.0-beta.4
        - v1.6.0-beta.3
        - v1.6.0-beta.2
        - v1.6.0-alpha.1
        - v1.6.0-alpha.0
        - v1.5.3
        - v1.5.2
        - v1.5.1
        - v1.4.5
        - v1.4.3
        - v1.4.2
        - v1.4.1
        - v1.4.0
        - v1.3.7
        - v1.3.6
        - v1.3.5
        - v1.3.4
        - v1.3.3
        - v1.3.0

#7 Kubernetesクラスタの起動
minikubeコマンドを実行して、Kubernetesクラスタを起動します。
私の環境では、実行完了するまで60分程度かかりました。

Kubernetesクラスタの起動

[root@master ~]# minikube --vm-driver=virtualbox start
Starting local Kubernetes v1.10.0 cluster...
Starting VM...
Downloading Minikube ISO
 153.08 MB / 153.08 MB [============================================] 100.00% 0s
Getting VM IP address...
Moving files into cluster...
Downloading kubeadm v1.10.0
Downloading kubelet v1.10.0
Finished Downloading kubeadm v1.10.0
Finished Downloading kubelet v1.10.0
Setting up certs...
Connecting to cluster...
Setting up kubeconfig...
Starting cluster components...
Kubectl is now configured to use the cluster.
Loading cached images from config file.

ちなみに、kubernetesクラスタを停止するには、stopコマンドを使います。

Kubernetesクラスタのの停止

[root@master ~]# minikube stop
Stopping local Kubernetes cluster...
Machine stopped.

#8 Minikubeの状態確認

状態確認

[root@master ~]# minikube status
minikube: Running
cluster: Running
kubectl: Correctly Configured: pointing to minikube-vm at 192.168.99.100

公開しているサービス一覧

[root@master ~]# minikube service list
|-------------|----------------------|-----------------------------|
|  NAMESPACE  |         NAME         |             URL             |
|-------------|----------------------|-----------------------------|
| default     | kubernetes           | No node port                |
| kube-system | kube-dns             | No node port                |
| kube-system | kubernetes-dashboard | http://192.168.99.100:30000 |
|-------------|----------------------|-----------------------------|

#9 ノードの状態確認

クラスタの状態確認

[root@master ~]# kubectl cluster-info
Kubernetes master is running at https://192.168.99.100:8443
KubeDNS is running at https://192.168.99.100:8443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.

ノードの状態確認

[root@master ~]# kubectl get node -o wide
NAME       STATUS    ROLES     AGE       VERSION   EXTERNAL-IP   OS-IMAGE            KERNEL-VERSION   CONTAINER-RUNTIME
minikube   Ready     master    3m        v1.10.0   <none>        Buildroot 2018.05   4.16.14          docker://17.12.1-ce

コンテキストの確認

[root@master ~]# kubectl config get-contexts
CURRENT   NAME       CLUSTER    AUTHINFO   NAMESPACE
*         minikube   minikube   minikube

#10 podの起動／削除
nginxのPodを起動してみます。ここでもpodの起動に時間(20?分程度)がかかりました。

Podの起動

[root@master ~]# kubectl run nginx --image=nginx
deployment.apps "nginx" created

podの状態を確認する。まだ、Podの作成中(ContainerCreating)であることがわかる。
[root@master ~]# kubectl get pod
NAME                     READY     STATUS              RESTARTS   AGE
nginx-65899c769f-sqfhk   0/1       ContainerCreating   0          23s

podの状態を確認する。PodがRunning状態になったことがわかる。
[root@master ~]# kubectl get pod
NAME                     READY     STATUS    RESTARTS   AGE
nginx-65899c769f-sqfhk   1/1       Running   0          14m

deploymentの状態を確認する。
[root@master ~]# kubectl get deployment
NAME      DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
nginx     1         1         1            1           25m

Podの削除

[root@master ~]# kubectl delete deployment nginx
deployment.extensions "nginx" deleted

[root@master ~]# kubectl get pod
No resources found.

[root@master ~]# kubectl get deployment
No resources found.

#11 エラー対処
Podは起動したものの、メッセージ(/var/log/messages)を確認すると
エラーらしきメッセージが多数出力されていたので、その対処をしました。

##11.1 "Configuration file /etc/systemd/system/kubelet.service is marked executable. Please remove executable permission bits. Proceeding anyway."
ユニットファイル(kubelet.service)に実行権が設定されていたので、表題のエラーがでていたようです。
指示にしたがって、ユニットファイルの実行権を落としました。

[root@master ~]# ls -l /etc/systemd/system/kubelet.service
-rwxr-xr-x. 1 root root 221  6月  8 22:39 /etc/systemd/system/kubelet.service

[root@master ~]# chmod 644 /etc/systemd/system/kubelet.service
[root@master ~]# ls -l /etc/systemd/system/kubelet.service
-rw-r--r--. 1 root root 221  6月  8 22:39 /etc/systemd/system/kubelet.service

##11.2 "unable to load client CA file /etc/kubernetes/pki/ca.crt: open /etc/kubernetes/pki/ca.crt: no such file or directory"

[root@master ~]#vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
#Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt"
Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/root/.minikube/ca.crt"

#12 エスカレーション
下記問題について、コミュニティにエスカレーションをしました。
https://github.com/kubernetes/minikube/issues/2927
しばらくぶりに状況を確認したら、根本原因や修正方法等はわかりませんが、
クローズしていました。

#Z 参考情報
Minikubeを使ってローカル環境にKubernetes環境を用意する
 Download VirtualBox for Linux Hosts
Kubernetes 1.10のkubeletの起動オプションをKubelet ConfigファイルとPodSecurityPolicyで置き換える