このシリーズは、入社1年目の新人がEC2上にKubernetes環境構築を色々試行錯誤して、上手くいった手順をまとめたものです。

はじめに

本シリーズは、EC2上にKubernetesクラスターを構築する環境構築編(本記事)と
KubernetesクラスターにPodやServiceなど5つのリソースを作成するリソース作成編、
最後に、KubernetesクラスターにElasticSearchとKibanaを導入する運用監視編の三部構成になっています。

この記事ではEC2上にKubernetesクラスターを構築するまでの手順を書いてます。
リソース作成編や運用監視編の記事は、以下になります。

Kubernetes on Amazon EC2 環境構築編　(本記事)：EC2上にKubernetesクラスターを構築するまでの手順を書いてます。
Kubernetes on Amazon EC2 リソース作成編(今後公開予定)：Kubernetesの5つのリソース(PodやServiceなど)を作成する手順を書いてます。
Kubernetes on Amazon EC2 運用監視編(今後公開予定)：Kubernetes環境にElasticSearchとKibanaを導入するまでの手順を書いてます。

※この記事は手順に焦点を当てているので、Kubernetesに関する用語の詳細な説明は省略しています。

全体的な作業の流れ

この記事で行う作業の全体的な流れは、以下のようになってます。

EC2を3台起動させます。(Master1台、Worker2台)
全ノードにDocker、kubelet、kubeadm、kubectlをインストールします。
Masterノードでkubeadmを初期化して、Masterノードの設定をします。
Workerノードをクラスターに追加します。

0. 本記事で構築する環境について

本記事では、新人が勉強の目的で構築した手順を紹介するため、シンプルな構築になっています。
Masterノード1台、Workerノード2台で全3台構成のKubernetes環境を構築します。
コンテナランタイムはDockerを使用します。

使用したものは以下になります。

docker-CE 19.03.6-ce
Kubernetes v1.20.1
Flannel v0.13.0-rc2

1. Kubernetes on Amazon EC2環境構築に必要な事前準備

事前準備では、EC2インスタンスとセキュリティグループを作成します。

※EC2を作成する前に、VPCとパブリックサブネットを作成しておきます。

1. EC2インスタンスを作成します。
本記事ではAMIにAmazon Linux2を選択しています。
インスタンスタイプはt2.medium以上の性能を選択してください。
※Kubernetesを導入するのに、メモリ2GB以上、2CPU以上が必要なためです。
https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

2. MasterノードとWorkerノードで開くポートが異なるため、セキュリティグループを2つ作成します。
Masterノードにアタッチするセキュリティグループは以下のように設定してください。

ポート番号	用途	アクセス許可元
6443/TCP	Kubernetes API	VPCのCIDR
2379,2380/TCP	etcd server client API	VPCのCIDR
10250/TCP	kubelet API	VPCのCIDR
10251/TCP	kube-scheduler	VPCのCIDR
10252/TCP	kube-controller-manager	VPCのCIDR

3. Workerノードにアタッチするセキュリティグループは以下のように設定してください。

ポート番号	用途	アクセス許可元
10250/TCP	kubelet API	VPCのCIDR
30001-30003/TCP	Node Port Service	自PCのIPアドレス

2. Kubernetes on Amazon EC2環境構築

本章では、大まかに以下の流れで環境構築をしていきます。
1. 必要なモジュールをインストール(Dockerやkubeletなど)
2. kubeadmを使用して、Masterノードを構築
3. kubeadmを使用して、Workerノードを構築し、クラスターに追加

事前準備で作成したEC2インスタンスに接続します。
以下のように、接続するインスタンスを選択し、「接続」を押下することでEC2インスタンスに接続できます。
本記事ではEC2への接続に、AWS Systems Managerを使用しています。

2-1. (全ノード)Dockerのインストール

まず、全ノードにDockerをインストールします。
(1)デフォルトでインストールされているパッケージをアップデートします。

$ sudo yum update -y

(2)amazon-linux-extrasコマンドを使用して、Dockerをインストールします。

$ sudo amazon-linux-extras install -y docker

(3)インストールが終わったらDockerを起動し、EC2インスタンスを再起動しても、Dockerが自動で起動するように設定します。

$ sudo systemctl start docker && sudo systemctl enable docker

2-2. (全ノード)kubelet、kubeadm、kubectlのインストール

Kubernetes環境を構築するのに必要なモジュールをインストールします。
(1)kubelet、kubeadm、kubectlをインストールするためにレポジトリを作成します。

$ sudo vi /etc/yum.repos.d/kubernetes.repo

/etc/yum.repos.d/kubernetes.repo

[kubernetes]
name=kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kube*

(2)kubelet, kubeadm, kubectlをインストールします。

$ sudo yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

※SELinuxが有効の場合、SELinuxを無効化してから上記コマンドを叩いてください。

$ setenforce 0

(3)kubeletを起動させ、EC2インスタンスを再起動しても自動で起動するようにします。

$ sudo systemctl enable kubelet && sudo systemctl start kubelet

2-3. (Masterノード)kubeadm

kubeadmを初期化して、Masterノードの設定を行います。
この手順は、Masterノードのみで行ってください。

(1)kubeadmを初期化します。
実行結果の最後に、以下のような文が表示されるので、kubeadm join ~の一文をコピーしておきます。
(後で、Workerノードをクラスターに追加するときに使用します。)

$ sudo kubeadm init --pod-network-cidr=10.244.0.0/16
  (省略)
  Then you can join any number of worker nodes by running the following on each as root:
  kubeadm join MaserノードのプライベートIPアドレス:6443 --token トークン番号 --discovery-token-ca-cert-hash sha256:XXXXXXXXXX

(2)非rootユーザがkubectlコマンドを実行できるように、以下のコマンドを叩きます。

$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

(3)flannelをデプロイします。
※falnnelとは、Kubernetesクラスターのネットワークモデルを構築するプラグインの1つです。

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

(4)STATUSがReadyになっていることを確認してください。

$ kubectl get nodes
  NAME      STATUS   ROLES                   AGE    VERSION
  master    Ready    control-plane,master    5m     v1.20.1

2-4. (Workerノード)クラスターにWorkerノードを追加

kubeadmを使用して、WorkerノードをKubernetesクラスターに追加します。
この手順は、クラスターに追加する全Workerノードで行ってください。

(1)kubeadmの初期化の(1)でコピーしておいたkubeadm join ~の一文をペーストし、root権限で実行します。

$ sudo kubeadm join MasterノードのプライベートIPアドレス:6443 --token トークン番号 --discovery-token-ca-cert-hash sha256:XXXXXXXXXX

(2)Workerノードがクラスターに追加されたことを確認します。

$ kubectl get nodes
NAME      STATUS   ROLES                    AGE   VERSION
master    Ready    control-plane,master     14m   v1.20.1
worker1   Ready    <none>                   11m   v1.20.1
worker2   Ready    <none>                   11m   v1.20.1

これで、Kubernetesクラスターの構築が完了です。
次は、構築したKubernetesクラスター上にpodやserviceを作成していきます。
Kubernetes on Amazon EC2 リソース作成編(今後公開予定)

あとがき

なぜEC2上にKubernetes環境を構築したのかというと、新人研修後にAWS、コンテナ技術などを勉強していると、先輩に「AWS上にKubernetes環境を構築したら、AWSとKubernetesの勉強が一緒にできるね」とアドバイスを頂き、やってみたという流れです。

AWSもKubernetesも分からなかった当時の私には、EC2の作成やクラスターの構築方法が分からず困りました。
その中でも特に苦労したのは、EC2のセキュリティグループの設定でした。
セキュリティグループで設定しなければいけないポートがどこなのかが分からず、大変でした。

※商標類について：
- Amazon Web Services、“Powered by Amazon Web Services”ロゴ、［およびかかる資料で使用されるその他のAWS商標］は、米国その他の諸国における、Amazon.com, Inc.またはその関連会社の商標です。
- DockerおよびDockerロゴは、Docker Inc. の米国およびその他の国における登録商標もしくは商標です。
- KubernetesおよびKubernetesロゴは、The Linux Foundationの米国およびその他の国における登録商標または商標です。
- その他記載されている会社名、製品名はそれぞれ各社の商標および登録商標です。

Kubernetes on Amazon EC2 環境構築編 ~新人がやってみた(1)~