Kubernetesをいきなり始める場合、訳のわからない単語がいっぱい出てきて（単語自体の意味が分かってもその単語が何を意味しているかはわからないことが多い）、なかなか全体のイメージしにくい。まずシンプルな環境で理解しようとする。

単語

そうは言っても、幾つか基本単語の意味を少し把握しないと。

Kubernetes（k8s）は、ギリシャ語で航海長または水先案内人の意味である。

航海長または水先案内人として、仕事は何でしょう？
海運・港湾で大量のコンテナが行き来するから、それをさばけるよう水路を開けたり航路を指示したりして、
コンテナがうまく機能するよう、オーケストレーションする「システム」である。

詳細はWikipeidiaにあるの「Kubernetesのアーキテクチャ図」はわかりやすい。

Kubernetesのパッケージ管理ツールはhelm「舵」というツールである。

パッケージはchart「海図」という倉庫に保管される（githubと類似）。

Kubernetesの管理は、コマンドラインツールであるkubectlまたはweb画面のコンソールで行う。

幾つかわかりにくい点についての説明：

Kubernetesは基本的にクラスタ内で閉ざされている世界となる。
ポッドにクラスタ内のIPアドレスをランダムに割り当てて、ポッド再起動するとIPアドレスが変わる（かもしれない）。
コンテナはIPアドレスを持たない。外部との通信にIPアドレスが必要とする場合、ポッドのIPアドレスを共用する（恐らく）。
コンテナは提供する機能をサービスとしてポッド経由で公開できる。それでも、クラスタ内からのみ利用できる。
サービスへのアクセスは、環境変数かクラスタDNSを用いてアクセスする。
→ 具体的などれかのポッド（IPアドレス）を指名してアクセスできない。
サービスをIngressという仕組みでクラスタ外部へ公開できる。

Google Kubernetes Engine（GKT）を90日間300ドルクレジット付きで無料体験可能。
ただ、Kubernetesは複雑なため、その前に、ローカルで体験可能なminikubeで概念把握をしたほうがよい。

以下はUbuntu上でminikubeをセットアップしてみる方法を説明する。

Dockerのインストール

minikubeはDockerを利用してローカル上にminikubeという仮想マシン（コンテナ）を作成し、その中でkubernetesのクラスタを一つ構築する。
なので、先にDockerをインストールしておく。
ちなみに、仮想マシン作成できるのであれば、Dockerではなく、KVMやVirtualBoxなどのハイパーバイザーでもよい。

~$ sudo apt install docker.io

※ インストール後dockerコマンドを実行するたびにsudoが必要だが、これを省略する方法として、下記コマンドで現在ユーザxxxをdockerグループに追加してubuntu再起動。

~$ sudo gpasswd -a xxx docker

kubectlのインストール

minikube含め、kubernetesとのやり取りに使うコマンドツールである。先にインストールしておく。

~$ curl -LO "https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl"
~$ sudo chmod +x kubectl
~$ sudo mv kubectl /usr/local/bin/

minikubeのインストール

~$ curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 
~$ sudo chmod +x minikube
~$ sudo mv minikube /usr/local/bin/

minikube起動

~$ minikube start

初回起動時は、k8s（minikube）のイメージ（preloaded-images-k8s-v6-v1.19.4-docker-overlay2-amd64.tar.lz4）をインターネットからpullするので、多少時間がかかる（500MiB弱）。
参考のため、以下その出力を示す：

~$ minikube start
😄  Ubuntu 20.04 上の minikube v1.15.1
✨  dockerドライバーが自動的に選択されました
👍  コントロールプレーンのノード minikube を minikube 上で起動しています
🚜  Pulling base image ...
💾  Kubernetes v1.19.4 のダウンロードの準備をしています
    > preloaded-images-k8s-v6-v1.19.4-docker-overlay2-amd64.tar.lz4: 486.35 MiB
🔥  docker container (CPUs=2, Memory=2200MB) を作成しています...
🐳  Docker 19.03.13 で Kubernetes v1.19.4 を準備しています...
🔎  Kubernetes コンポーネントを検証しています...
🌟  有効なアドオン: storage-provisioner, default-storageclass
🏄  Done! kubectl is now configured to use "minikube" cluster and "default" namespace by default

デフォルトでは2cpuと2Gのメモリのクラスタを一つ作成する。これではactiviti7のデプロイメントに足りないので、後で再作成が必要。
そう、最終目標はactiviti7をローカルで構築したいので、これは別話。

状態確認

~$ minikube stats
minikube
type: Control Plane
host: Running
kubelet: Running
apiserver: Running
kubeconfig: Configured

kubectlで確認

~$ kubectl version
Client Version: version.Info{Major:"1", Minor:"19", GitVersion:"v1.19.4", GitCommit:"d360454c9bcd1634cf4cc52d1867af5491dc9c5f", GitTreeState:"clean", BuildDate:"2020-11-11T13:17:17Z", GoVersion:"go1.15.2", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"19", GitVersion:"v1.19.4", GitCommit:"d360454c9bcd1634cf4cc52d1867af5491dc9c5f", GitTreeState:"clean", BuildDate:"2020-11-11T13:09:17Z", GoVersion:"go1.15.2", Compiler:"gc", Platform:"linux/amd64"}

ここでのServer Versionというのが、kubernetesクラスタのこと。

minikube startは、実際にminikubeというコンテナを作成して、その中にControl Plane一式（マスター）が実行している。

dockerでminikubeの実体を確認してみる：

~$ docker ps 
CONTAINER ID        IMAGE                                 COMMAND                  CREATED             STATUS              PORTS                                                                                                      NAMES
18ac3ceb3c43        gcr.io/k8s-minikube/kicbase:v0.0.14   "/usr/local/bin/entr…"   12 minutes ago      Up 12 minutes       127.0.0.1:32771->22/tcp, 127.0.0.1:32770->2376/tcp, 127.0.0.1:32769->5000/tcp, 127.0.0.1:32768->8443/tcp   minikube

dockerのネットワークを確認してみる：

~$ docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
fa92b9cbeb63        bridge              bridge              local
ef4235778ea4        host                host                local
94102e388ff6        minikube            bridge              local
78575dd74c91        none                null                local

docker標準以外、minikubeというI/Fも作成されていることがわかる。

更に、ホスト（ubuntu）上のネットワークを確認すると

~$ ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:6b:7e:b6 brd ff:ff:ff:ff:ff:ff
    inet 192.168.241.130/24 brd 192.168.241.255 scope global dynamic noprefixroute ens33
       valid_lft 1489sec preferred_lft 1489sec
    inet6 fe80::867c:e538:c0a6:4e9e/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:aa:49:53:39 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:aaff:fe49:5339/64 scope link 
       valid_lft forever preferred_lft forever
5: br-94102e388ff6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:d9:15:92:83 brd ff:ff:ff:ff:ff:ff
    inet 192.168.49.1/24 brd 192.168.49.255 scope global br-94102e388ff6
       valid_lft forever preferred_lft forever
    inet6 fe80::42:d9ff:fe15:9283/64 scope link 
       valid_lft forever preferred_lft forever
11: veth1696d8c@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-94102e388ff6 state UP group default 
    link/ether 4e:bc:ef:46:b9:3a brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet6 fe80::4cbc:efff:fe46:b93a/64 scope link 
       valid_lft forever preferred_lft forever

192.168.49.1/24のI/Fはminikubeが作ったもので、minikubeコンテナ（クラスタ）自身は192.168.49.2となる。
docker psで表示したとおり、minikube内ポート22、2376、5000、8443が開いている。ローカルでsshも接続できるが、minikubeコマンドでも入ることは可能。

~$ minikube ssh

プロンプトはdocker@minikube:~$になり、dockerというユーザでminikube内に入っていることがわかる。

docker@minikube:~$ ip addr  
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
2: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:35:84:79:d0 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
4: veth031a7c0@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default 
    link/ether a6:0b:0a:46:1e:59 brd ff:ff:ff:ff:ff:ff link-netnsid 1
10: eth0@if11: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:c0:a8:31:02 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.49.2/24 brd 192.168.49.255 scope global eth0
       valid_lft forever preferred_lft forever

ついでに、minikube内実行しているものを確認している：

docker@minikube:~$ docker ps
CONTAINER ID        IMAGE                  COMMAND                  CREATED             STATUS              PORTS               NAMES
2913795687ac        86262685d9ab           "/metrics-sidecar"       9 minutes ago       Up 9 minutes                            k8s_dashboard-metrics-scraper_dashboard-metrics-scraper-c95fcf479-tcrxh_kubernetes-dashboard_abc990db-b76d-4b49-a132-e9075f2b5284_0
dcff4352dfe1        503bc4b7440b           "/dashboard --insecu…"   9 minutes ago       Up 9 minutes                            k8s_kubernetes-dashboard_kubernetes-dashboard-584f46694c-bln68_kubernetes-dashboard_17c76048-19ad-4b31-a265-65e6eaf11930_0
3b38a2626b9c        k8s.gcr.io/pause:3.2   "/pause"                 9 minutes ago       Up 9 minutes                            k8s_POD_dashboard-metrics-scraper-c95fcf479-tcrxh_kubernetes-dashboard_abc990db-b76d-4b49-a132-e9075f2b5284_0
5fc085cffc88        k8s.gcr.io/pause:3.2   "/pause"                 9 minutes ago       Up 9 minutes                            k8s_POD_kubernetes-dashboard-584f46694c-bln68_kubernetes-dashboard_17c76048-19ad-4b31-a265-65e6eaf11930_0
c5c25ae72949        bad58561c4be           "/storage-provisioner"   32 minutes ago      Up 32 minutes                           k8s_storage-provisioner_storage-provisioner_kube-system_e293829b-88c0-4945-96d3-da9b4cf315cd_1
01331ea01bff        bfe3a36ebd25           "/coredns -conf /etc…"   33 minutes ago      Up 33 minutes                           k8s_coredns_coredns-f9fd979d6-d8dxz_kube-system_a8874625-18e0-4519-afcb-8de29785de20_0
b8bbe6dda1b6        635b36f4d89f           "/usr/local/bin/kube…"   33 minutes ago      Up 33 minutes                           k8s_kube-proxy_kube-proxy-bqbxx_kube-system_236b6d80-b0d6-4bec-85d9-e4743a1e02c7_0
2ca9dba74db4        k8s.gcr.io/pause:3.2   "/pause"                 33 minutes ago      Up 33 minutes                           k8s_POD_storage-provisioner_kube-system_e293829b-88c0-4945-96d3-da9b4cf315cd_0
d6250bd16083        k8s.gcr.io/pause:3.2   "/pause"                 33 minutes ago      Up 33 minutes                           k8s_POD_kube-proxy-bqbxx_kube-system_236b6d80-b0d6-4bec-85d9-e4743a1e02c7_0
4da275c3e1ca        k8s.gcr.io/pause:3.2   "/pause"                 33 minutes ago      Up 33 minutes                           k8s_POD_coredns-f9fd979d6-d8dxz_kube-system_a8874625-18e0-4519-afcb-8de29785de20_0
dce47e24c1b0        14cd22f7abe7           "kube-scheduler --au…"   34 minutes ago      Up 34 minutes                           k8s_kube-scheduler_kube-scheduler-minikube_kube-system_38744c90661b22e9ae232b0452c54538_0
c935d124f5ec        4830ab618586           "kube-controller-man…"   34 minutes ago      Up 34 minutes                           k8s_kube-controller-manager_kube-controller-manager-minikube_kube-system_627d9013c9c4b1cbfb72b4c0ef6cd100_0
3313416b54e3        0369cf4303ff           "etcd --advertise-cl…"   34 minutes ago      Up 34 minutes                           k8s_etcd_etcd-minikube_kube-system_d186e6390814d4dd7e770f47c08e98a2_0
f62f32307740        b15c6247777d           "kube-apiserver --ad…"   34 minutes ago      Up 34 minutes                           k8s_kube-apiserver_kube-apiserver-minikube_kube-system_e30eb1a2f7c2dbcda239c972918b3eb4_0
e5fb4bcabab3        k8s.gcr.io/pause:3.2   "/pause"                 34 minutes ago      Up 34 minutes                           k8s_POD_kube-scheduler-minikube_kube-system_38744c90661b22e9ae232b0452c54538_0
2cd92b6687d0        k8s.gcr.io/pause:3.2   "/pause"                 34 minutes ago      Up 34 minutes                           k8s_POD_kube-controller-manager-minikube_kube-system_627d9013c9c4b1cbfb72b4c0ef6cd100_0
2a8784961b87        k8s.gcr.io/pause:3.2   "/pause"                 34 minutes ago      Up 34 minutes                           k8s_POD_kube-apiserver-minikube_kube-system_e30eb1a2f7c2dbcda239c972918b3eb4_0
e20d541cffa9        k8s.gcr.io/pause:3.2   "/pause"                 34 minutes ago      Up 34 minutes                           k8s_POD_etcd-minikube_kube-system_d186e6390814d4dd7e770f47c08e98a2_0

kubernetesのコンポーネント一式（api-server、scheduler、controller-managerなど）もコンテナ方式で実行されていることがわかる。

Dashboardでクラスタを覗いてみる

Dashboardはkubernetesの機能であり、addonで実装している。addonをenableでもよいし、以下のコマンドで自動的にdashboard有効化とブラウザ表示ができる。

~$ minikube dashboard &
🔌  ダッシュボードを有効化しています...
🤔  ダッシュボードの状態を確認しています...
🚀  プロキシを起動しています...
🤔  プロキシの状態を確認しています...
🎉  Opening http://127.0.0.1:37457/api/v1/namespaces/kubernetes-dashboard/services/http:kubernetes-dashboard:/proxy/ in your default browser...

webアプリデプロイ

簡単なサンプルwebアプリをデプロイして、クラスタ外部（ホスト）からアクセスできるようにやってみる。

echoserverをデプロイする

~$ kubectl create deployment hello-minikube --image=k8s.gcr.io/echoserver:1.10
deployment.apps/hello-minikube created

echoserverはhello-minikubeというIDでクラスタにデプロイメントされる。
→ クラスタは適切なノードに適切な数のポッドを作成し、その中にコンテナを作成してくれる。

確認してみる：

$ kubectl get pod
NAME                              READY   STATUS    RESTARTS   AGE
hello-minikube-5d9b964bfb-hlcbp   1/1     Running   0          14m

hello-minikube-5d9b964bfb-hlcbpというポッドが実行してくれてる。

hello-minikubeにアクセス可能にする

~$ kubectl expose deployment hello-minikube --type=NodePort --port=8080
service/hello-minikube exposed

→ type=NodePortという方法でポッドの8080ポートに公開した。

サービスの公開状況を確認

~$ kubectl get service
NAME             TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
hello-minikube   NodePort    10.101.171.101   <none>        8080:30985/TCP   10m
kubernetes       ClusterIP   10.96.0.1        <none>        443/TCP          59m

10.101.171.101はhello-minikube-5d9b964bfb-hlcbpポッドのIPのようだが、どうやってアクセス？

~$ minikube service hello-minikube --url
http://192.168.49.2:30985

つまり、上記URLにマッピングしていること。192.168.49.2の30985にアクセスすれば、クラスタがhello-minikube-5d9b964bfb-hlcbpポッドの8080番へ転送してくれる。
ブラウザで確認してよいし、curlで確認してみる：

~$ curl http://192.168.49.2:30985

Hostname: hello-minikube-5d9b964bfb-hlcbp

Pod Information:
	-no pod information available-

Server values:
	server_version=nginx: 1.13.3 - lua: 10008

Request Information:
	client_address=172.17.0.1
	method=GET
	real path=/
	query=
	request_version=1.1
	request_scheme=http
	request_uri=http://192.168.49.2:8080/

Request Headers:
	accept=*/*
	host=192.168.49.2:30985
	user-agent=curl/7.68.0

Request Body:
	-no body in request-

上記client_address=172.17.0.1に注目したい。このIPはminikube内のdocker0というI/Fに割り当てている。
つまり、通信は192.168.49.1(ubuntu)->192.168.49.2(minikube)->172.17.0.1(minikube内のdocker)->10.101.171.101のような流れ。

「kubectl expose」でサービスを公開するときに作成する外部ポートはランダムなため、これをクラスタ外部から利用しにくい。
これの解決方法はingress controler（入り口制御）という仕組み。適切にルーティングしてくれる。

ingress controler有効化

~$ minikube addons enable ingress
🔎  Verifying ingress addon...
🌟  The 'ingress' addon is enabled

以下のingressリソース用yamlファイル(例：example-ingress.yaml)を作成する

example-ingress.yaml

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: example-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /$1
spec:
  rules:
  - host: 192.168.49.2.nip.io
    http:
      paths:
      - path: /
        backend:
          serviceName: hello-minikube
          servicePort: 8080

hostの192.168.49.2.nip.ioはhostsファイル編集しなくても使えるdnsサービスnip.ioを活用したい。
このファイルはminikubeの外部IP192.168.49.2に対してhttpつまり80番ポートに対してリクエストが来ると、そのURLはhttp://192.168.49.2.nip.ioのルートであれば、「hello-minikube」というサービスの8080番へルーティングする、という意味である。

このファイルを適用

~$ kubectl apply -f example-ingress.yaml
Warning: networking.k8s.io/v1beta1 Ingress is deprecated in v1.19+, unavailable in v1.22+; use networking.k8s.io/v1 Ingress
ingress.networking.k8s.io/example-ingress created

警告はとりあえず無視。

ingressリソース作成したか確認

~$ kubectl get ingress
Warning: extensions/v1beta1 Ingress is deprecated in v1.14+, unavailable in v1.22+; use networking.k8s.io/v1 Ingress
NAME              CLASS    HOSTS                 ADDRESS        PORTS   AGE
example-ingress   <none>   192.168.49.2.nip.ip   192.168.49.2   80      49s

良さそう。確認してみる。

~$ curl http://192.168.49.2.nip.io

Hostname: hello-minikube-5d9b964bfb-hlcbp

Pod Information:
	-no pod information available-

Server values:
	server_version=nginx: 1.13.3 - lua: 10008

Request Information:
	client_address=172.17.0.6
	method=GET
	real path=/
	query=
	request_version=1.1
	request_scheme=http
	request_uri=http://192.168.49.2.nip.io:8080/

Request Headers:
	accept=*/*
	host=192.168.49.2.nip.io
	user-agent=curl/7.68.0
	x-forwarded-for=192.168.49.1
	x-forwarded-host=192.168.49.2.nip.io
	x-forwarded-port=80
	x-forwarded-proto=http
	x-real-ip=192.168.49.1
	x-request-id=7cb265038c1206b47b32d0b613c41638
	x-scheme=http

Request Body:
	-no body in request-

いい感じでござる。

minikubeの停止

~$ minikube stop
✋  ノード "minikube" を停止しています...
🛑  SSH 経由で「minikube」の電源をオフにしています...
🛑  1台のノードが停止しました。

クラスタが停止しただけなので、次回startすれば、上記addonやデプロイ、ingressなど、全て復元できる。

minikubeの削除

~$ minikube delete

これは、minikubeというコンテナを削除するため、次回startは初期状態の新しいコンテナが作成されることになる。
minikubeのイメージはローカルに残されているため、インターネットから再ダウンロード不要。再作成は速い。

以上、とりあえずminikubeを構築し、簡単なwebアプリもminikubeの外からアクセスできるところまで来た。
めでたしめでたし。