やったこと

公式手順などを参考に、AWS上にOpenShift4.1のクラスタを構築しました。

Install on AWS: Installer-Provisioned Infrastructure
- 公式のたぶんスタート地点。
Configuring an AWS account
- OpenShift構築前にAWSアカウントでやっておくことの手順。
Installing a cluster quickly on AWS
- AWSアカウントの設定を終えて、実際にOpenShiftクラスタを構築していく手順。

前提

AWSのアカウントを持っている
RedHatのアカウントを持っている

環境

クライアント：Windows10Pro上のWSL1のUbuntu
- 公式の前提条件にLinuxまたはmacOSと記載されていたので

構築する

準備

Route53のドメインを取得する

取得したことなかったので、こちらを参考にさせてもらって.comをとりあえず取得。
以下xxx.comとする。

OpenShift用のIAMユーザを作成する

名前はなんでもよい。
ポリシーはAdministratorAccessをアタッチしておく。
アクセスキーは用意しておく。

AWS CLIのインストール

AWS公式を見てaptで導入しました。

AWS CLIの設定

作成したOpenShift用のIAMユーザのアクセスキーなどを設定する。

$ aws configure
AWS Access Key ID [****************7VGL]:
AWS Secret Access Key [****************Gxfq]:
Default region name [ap-northeast-1]:
Default output format [json]:

OpenShift CLIの導入

wget https://mirror.openshift.com/pub/openshift-v4/clients/ocp/latest/openshift-client-linux-4.1.0.tar.gz
tar zxvf openshift-client-linux-4.1.0.tar.gz
sudo cp oc /usr/local/bin/

OpenShift Installerを取得

wget https://mirror.openshift.com/pub/openshift-v4/clients/ocp/latest/openshift-install-linux-4.1.0.tar.gz
tar zxvf openshift-install-linux-4.1.0.tar.gz

Secretのダウンロード

こちらを参考にさせて頂きました。

実際の構築

以下、解凍したインストーラのあるディレクトリで実行する。

install-config.yamlを作成する。

↓のコマンドを実行すると構成情報をいろいろ要求されるので、提供すると勝手に作成される。
installation_directoryは、適当なディレクトリを作っておく。

./openshift-install create install-config --dir=<installation_directory>

Platform、Region、Base Domainは、上下で選択する形式。AWSを選択すれば、後は恐らくAWS CLIの現在の設定を参照して指定できる候補を表示してくれるようなので、あまり悩まなくて済む。
Cluster Nameはクラスタ名を決めてやる。
Pull Secretで、ダウンロードしておいたpull-secret.txt中身をコピペする。

特に「設定終わったよ」的なメッセージは出ないが、終わっていた。

クラスタ作成

create clusterコマンドを実行したら、後は待つだけ。

$ ./openshift-install create cluster --dir=./config
INFO Consuming "Install Config" from target directory
INFO Creating infrastructure resources...
INFO Waiting up to 30m0s for the Kubernetes API at https://api.machida-oc-cluster.xxx.com:6443...
INFO API v1.13.4+838b4fa up
INFO Waiting up to 30m0s for bootstrapping to complete...
INFO Destroying the bootstrap resources...
INFO Waiting up to 30m0s for the cluster at https://api.machida-oc-cluster.xxx.com:6443 to initialize...
INFO Waiting up to 10m0s for the openshift-console route to be created...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/mnt/c/dev/openshiftaws/installer/config/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.machida-oc-cluster.xxx.com
INFO Login to the console with user: kubeadmin, password: xxxxx-xxxxx-xxxxx-xxxxx
$

おおむね、30分ちょっとで完了しました。

アクセスしてみる

ブラウザから

create clusterコマンドの最後に表示されたURLにブラウザからアクセスする。

同じくuser、passwordを入力してログインする。

CLIから

クラスタ作成後にkubeconfigが作成されているので、exportすればocコマンドでクラスタを操作できる。

$ export KUBECONFIG=<インストールディレクトリ>/auth/kubeconfig

自動で作られたものをいくつか確認してみる

ec2

masterノード3台、workerノード3台のようです。
これらを構築するための一時的なインスタンスとしてbootstrapというインスタンスもいましたが、クラスタ構築後しばらく経って自動的に消えました。

node

$ oc get node -o wide
NAME                                              STATUS   ROLES    AGE    VERSION             INTERNAL-IP    EXTERNAL-IP   OS-IMAGE                                                   KERNEL-VERSION               CONTAINER-RUNTIME
ip-10-0-129-152.ap-northeast-1.compute.internal   Ready    master   166m   v1.13.4+cb455d664   10.0.129.152   <none>        Red Hat Enterprise Linux CoreOS 410.8.20190520.0 (Ootpa)   4.18.0-80.1.2.el8_0.x86_64   cri-o://1.13.9-1.rhaos4.1.gitd70609a.el8
ip-10-0-142-245.ap-northeast-1.compute.internal   Ready    worker   158m   v1.13.4+cb455d664   10.0.142.245   <none>        Red Hat Enterprise Linux CoreOS 410.8.20190520.0 (Ootpa)   4.18.0-80.1.2.el8_0.x86_64   cri-o://1.13.9-1.rhaos4.1.gitd70609a.el8
ip-10-0-156-139.ap-northeast-1.compute.internal   Ready    worker   158m   v1.13.4+cb455d664   10.0.156.139   <none>        Red Hat Enterprise Linux CoreOS 410.8.20190520.0 (Ootpa)   4.18.0-80.1.2.el8_0.x86_64   cri-o://1.13.9-1.rhaos4.1.gitd70609a.el8
ip-10-0-159-45.ap-northeast-1.compute.internal    Ready    master   166m   v1.13.4+cb455d664   10.0.159.45    <none>        Red Hat Enterprise Linux CoreOS 410.8.20190520.0 (Ootpa)   4.18.0-80.1.2.el8_0.x86_64   cri-o://1.13.9-1.rhaos4.1.gitd70609a.el8
ip-10-0-174-174.ap-northeast-1.compute.internal   Ready    master   166m   v1.13.4+cb455d664   10.0.174.174   <none>        Red Hat Enterprise Linux CoreOS 410.8.20190520.0 (Ootpa)   4.18.0-80.1.2.el8_0.x86_64   cri-o://1.13.9-1.rhaos4.1.gitd70609a.el8
ip-10-0-175-103.ap-northeast-1.compute.internal   Ready    worker   158m   v1.13.4+cb455d664   10.0.175.103   <none>        Red Hat Enterprise Linux CoreOS 410.8.20190520.0 (Ootpa)   4.18.0-80.1.2.el8_0.x86_64   cri-o://1.13.9-1.rhaos4.1.gitd70609a.el8

ちょっと長いですが、端の方まで見るとOSはCoreOS、コンテナランタイムはcri-oっぽいです。

project(k8sでいうnamespace)

$ oc get ns
NAME                                                    STATUS   AGE
default                                                 Active   159m
kube-public                                             Active   159m
kube-system                                             Active   159m
openshift                                               Active   153m
openshift-apiserver                                     Active   154m
openshift-apiserver-operator                            Active   158m
openshift-authentication                                Active   158m
openshift-authentication-operator                       Active   158m
openshift-cloud-credential-operator                     Active   158m
openshift-cluster-machine-approver                      Active   158m
openshift-cluster-node-tuning-operator                  Active   158m
openshift-cluster-samples-operator                      Active   158m
openshift-cluster-storage-operator                      Active   158m
openshift-cluster-version                               Active   159m
openshift-config                                        Active   159m
openshift-config-managed                                Active   159m
openshift-console                                       Active   150m
openshift-console-operator                              Active   150m
openshift-controller-manager                            Active   158m
openshift-controller-manager-operator                   Active   158m
openshift-dns                                           Active   157m
openshift-dns-operator                                  Active   158m
openshift-etcd                                          Active   159m
openshift-image-registry                                Active   158m
openshift-infra                                         Active   159m
openshift-ingress                                       Active   152m
openshift-ingress-operator                              Active   158m
openshift-kube-apiserver                                Active   159m
openshift-kube-apiserver-operator                       Active   159m
openshift-kube-controller-manager                       Active   159m
openshift-kube-controller-manager-operator              Active   159m
openshift-kube-scheduler                                Active   159m
openshift-kube-scheduler-operator                       Active   158m
openshift-machine-api                                   Active   158m
openshift-machine-config-operator                       Active   159m
openshift-marketplace                                   Active   158m
openshift-monitoring                                    Active   158m
openshift-multus                                        Active   158m
openshift-network-operator                              Active   158m
openshift-node                                          Active   153m
openshift-operator-lifecycle-manager                    Active   158m
openshift-operators                                     Active   158m
openshift-sdn                                           Active   157m
openshift-service-ca                                    Active   156m
openshift-service-ca-operator                           Active   158m
openshift-service-catalog-apiserver-operator            Active   158m
openshift-service-catalog-controller-manager-operator   Active   158m

いっぱい作られてる。

openshift-monitoring

$ oc get pod -n openshift-monitoring
NAME                                           READY   STATUS    RESTARTS   AGE
alertmanager-main-0                            3/3     Running   0          3h24m
alertmanager-main-1                            3/3     Running   0          3h24m
alertmanager-main-2                            3/3     Running   0          3h23m
cluster-monitoring-operator-6b875c9f45-kwftv   1/1     Running   0          3h30m
grafana-7cbddfd4f6-bpdx7                       2/2     Running   0          3h25m
kube-state-metrics-76dbd866ff-xpj9p            3/3     Running   0          3h30m
node-exporter-62z2v                            2/2     Running   0          3h30m
node-exporter-b5vmr                            2/2     Running   0          3h30m
node-exporter-gfftq                            2/2     Running   0          3h27m
node-exporter-k52pr                            2/2     Running   0          3h27m
node-exporter-ldgtc                            2/2     Running   0          3h30m
node-exporter-nzrz5                            2/2     Running   0          3h27m
prometheus-adapter-65d479d44f-b62m9            1/1     Running   0          3h24m
prometheus-adapter-65d479d44f-hl9wt            1/1     Running   0          3h24m
prometheus-k8s-0                               6/6     Running   1          3h24m
prometheus-k8s-1                               6/6     Running   1          3h24m
prometheus-operator-7bfd67bf6c-xqk6n           1/1     Running   0          3h24m
telemeter-client-6cc78889f8-5dzbv              3/3     Running   0          3h30m

grafanaやprometheusがデフォルトで上がるようです。

ほか

そもそもAWS側の作業はVPCやサブネット、ELBの作成やEIPの取得などほぼ全て自動でやってくれてます。
etcd含めてコンポーネントたちは、kubeadmなどと同様にpodとして上がってるようです。

感想

すごすぎる。