概要

vSphereの機能であるvSphere IaaS Control Plane (旧vSphere with Tanzu) を構築してみたため、その内容の備忘となります。
今回は構築後簡易的にPodを構築してみるところまで見てみます。
また、vSphere 8.0u3から利用可能なConsumption Interfaceという機能も用いてみます。
※ 特にそれぞれの細かい機能の説明等は省いて、構築の流れ中心です

vSphere IaaS Control Planeとは

vSphere IaaS control plane を使用すると、vSphere を、Kubernetes ワークロードをハイパーバイザーレイヤーでネイティブに実行するためのプラットフォームに変換できます。vSphere クラスタで vSphere IaaS control plane を有効にすると、Kubernetes ワークロードを ESXi ホストで直接実行し、専用の名前空間（vSphere 名前空間）内にアップストリーム Kubernetes クラスタを作成する機能が提供されます。
https://docs.vmware.com/jp/VMware-vSphere/8.0/vsphere-with-tanzu-concepts-planning/GUID-70CAF0BB-1722-4526-9CE7-D5C92C15D7D0.html

すごくざっくり言うと、vSphereの機能を用いてvSphere上にKubernetes環境を展開できる機能になります。必要なノードも仮想マシンとして自動で作成を行ってくれます。
※ vSphere8.0u2bまではvSphere with Tanzuという名称でした

前提環境

今回は以下環境で実施を行っています。

バージョンは8.0u3 (ESXi & vCenter)
ESXi × 3台
- CPU 12コア
- メモリ 40GB
vSAN構成済み
DRS & HA有効化済み (動作要件)
分散ポートグループ作成済み (VLAN0 & VLAN1)

利用している上記環境は以下手順で作成しています

システム要件は以下ドキュメントをご参考ください。

ロードバランサーの構成について

vSphere IaaS Control Planeではロードバランサーを準備する必要があり、選択肢は以下3つになります。

NSX
NSX Advanced Load Balancer
HA Proxy

今回はタイトルにもある通り、OSSのHA Proxyを使っていきます

vSphere IaaS Control Plane 構築

ネットワークの構成思案

初めにネットワークの構成を考えておきます。

基本的には3種類のIPレンジを決めていく形となります。
今回はそれぞれ以下のようなIPレンジにして進めていきます。

項目	IPレンジ	用途
Supervisor Node	192.168.0.132~135	- IaaS Control Planeを有効化時に展開されるSupervisor Control Plane VMに振られるIPアドレス - 指定したIPアドレスから4つ割り振られる
Workload Cluster	192.168.1.16~31	- Kubernetes ClusterのControl Plane & Worker Nodeの仮想マシンに振られるIPアドレス - Supervisor Nodeとはネットワークを分けておく
Virtual IP	192.168.1.32~63	- Kubernetes内のExternel IPに振られる - 他にもユーザーがkubectlでアクセスする際の制御プレーンのIPアドレスにも使われる

vSphere Client上で確認できるネットワークトポロジに書き加えると以下のようなイメージです。
※一番左の131のIPアドレスはHA Proxyのアプライアンスに振るIPアドレスです。

上記図の通り、大きくネットワークとしては3つありますが、Frontend Networkはオプションのため、今回はWorkload Networkと同じネットワーク上のIPレンジとしています。

HA Proxy の展開

それではHA Proxyを展開していきます。

まずHA ProxyのOVFをダウンロードします。
以下githubからダウンロードできるため、本記事執筆時点で最新のv0.2.0をダウンロードしておきます。
https://github.com/haproxytech/vmware-haproxy#download

そうしたら、OVFテンプレートのデプロイを進めていきます。

名前や展開先を指定後、デプロイ構成を聞かれます。
ここではFrontend Networkを分けて構成するかしないかの選択になります。
今回はFrontend Networkは分けないため、Defaultで進めます。

その後アプライアンスのパスワードや利用するIPアドレスやポートグループの指定を進めます。
ポートグループの指定では、Frontend Network用のものも聞かれますが、Default設定で進めている場合は指定するだけで使われないため、適当に入れておいてください。
また、Load Balancer IP Rangesでは前段で決めておいたVirtual IPのレンジをサブネット形式で入れておきます。
今回は192.168.1.32~63のため、192.168.1.32/27となります。

展開した設定のサマリは以下のようになっています。

展開し起動後IPアドレスに2つのネットワークそれぞれのものが振られていることを確認しておきます。

続いて、後ほど利用するため、HA Proxyの証明書を確認してコピーしておきます。
設定の編集の詳細パラメータで確認できます。

この証明書の値はbase64でエンコードされているため、デコードして以下のような証明書のパラメータにしておいておきます。

-----BEGIN CERTIFICATE-----
MIIDoTCCAomgAwIBAgIJAM7daiRh/RKuMA0GCSqGSIb3DQEBBQUAMG4xCzAJBgNV
~~~
~~~
~~~
92A9PgWeozxM9ACASCL3KaVXfrHX
-----END CERTIFICATE-----

以上でHA Proxyの準備は完了です。

ワークロード管理の有効化

それではワークロード管理の有効化を行っていきます。
このワークロード管理の有効化を行うことで、vSphere IaaS Control PlaneがvSphere上で利用可能となり、Kubernetesクラスタの構築等が実施出来ます。

vSphere Clietnのメニューからワークロード管理を選択して、開始するを選択します。

ネットワークスタックを聞かれるため、vSphere Distributed Switchのまま次へ進みます。
(NSXを構成している場合は、NSXを選択可能)

スーパーバイザーの配置を聞かれます。
vSphere Zoneを用いた展開と、クラスタ指定でのデプロイのどちらかを選ぶことができますが、今回はクラスタのデプロイを選択します。
なお、クラスタのデプロイを選択した場合でも、vSphere Zoneは自動で1つ作成されます。

クラスタ名をSCP、vSphere Zone名はとりあえずzone-1を入れておきます。
(vSphere Zone名は入れなくても自動で用意される)

続いてストレージポリシーの選択となります。
任意のものを選択可能です。今回はあらかじめ環境に用意してあるFTT-0というストレージポリシーを選択します。
※ vSAN以外のデータストアを使う場合もポリシーの準備は必要

続いてロードバランサの設定です。
HA Proxyのデプロイ時に指定したユーザー名/パスワードや先ほど確認しておいた証明書などを入力しておきます。
仮想IPアドレスの範囲は、事前に決めておいたVirtual IPのレンジを入れておきます。

管理ネットワークの設定を行います。
ネットワークモードは静的にして、利用するネットワークの情報等を入れていきます。
開始IPアドレスは事前に決めておいたSupervisor Nodeの一番初めのIPアドレスを入れておきます。

ワークロードネットワークの設定も管理ネットワークと同様に静的にしつつネットワークの情報等を入れていきます。
IPアドレス範囲は事前に決めておいたWorkload Clusterの範囲を入力しておきます。
また、注意点としてネットワーク名はデフォルトで指定したポートグループ名が入りますが、大文字が利用不可となるため、注意が必要です。今回はworkload-01としておきます。

最後に展開されるスーパーバイザー制御プレーン (Supervisor Control Plane VM) のサイズを指定します。今回は小にしてそのまま完了を押します。

すると構築が開始されるため、完了を待ちます。

構成ステータスの欄の表示を選択すると進捗状況を確認できます。

また、構成の途中でSupervisor Control Plane VMが展開されます。
展開された後はホストノードの設定の進捗も確認できるようになります。

しばらく待ち構築が完了すると、以下画面上のようにプラグインのデプロイ完了メッセージが表示されます。
そうしましたら、ブラウザの更新をしておきます。

構成完了後は以下の様になっています。
Namespacesというの中にSupervisor Control Plane VMが3台展開されます。
また、svc-〇〇というものが2つvSphere名前空間として展開もされています。

この自動で展開されているものはvSphere8.0u3から行われるようになっており、実態はスーパーバイザーサービスと呼ばれるものです。
スーパーバイザーサービスはvSphere認定のKubernetesオペレータになっており、HarborやArgoCDなどの便利なアプリを簡単に展開できます。
利用可能なスーパーバイザーサービス: https://vsphere-tmm.github.io/Supervisor-Services/

ワークロード管理の画面からSCP (展開したスーパーバイザークラスタ名) を選び、構成の中から展開されているものは確認できます。

Consumption Interfaceの構成 (Options)

続いてConsumption Interfaceの構成を行っていきます。
こちらはスーパーバイザーサービスで提供されているものになり、vSphere IaaS Control Planeを利用する上で必須ではないですが、便利そうなので使っていきます。

ざっくり何ができるのかと言うと、vSphereのGUI上からKubernetsクラスタの展開ができるようになります。
本来はkubectlを用いてマニフェストを展開することでクラスタの作成等を行う形になるところを、vSphere Client上から実施できる感じになります。
(マニフェストの展開を肩代わりしてくれている感じ)
また、kubeconfigもこちら経由で用意できるようになります。

それでは構成をしていきます。
まず展開に必要な構成ファイルをダウンロードします。
以下のページ内からバージョンをクリックするとダウンロードできます。
https://vsphere-tmm.github.io/Supervisor-Services/#consumption-interface

続いてワークロード管理のサービスからサービスの新規追加を選択します。

サービスの登録画面が表示されるため、先程ダウンロードした構成ファイルをアップロードします。

アップロードするとサービス名東が表示されます。
このまま完了を選択します。

先ほどのサービスの一覧に追加されるため、そのままアクションからサービスの管理を選択します。

表示されたポップアップで展開先のスーパーバイザーの選択を行い、そのまま完了を選択します。

すると新しいvSphere名前空間が作成され、必要なリソースの展開が開始されるため待ちます。
進捗は対象のvSphere名前空間のポッドから見ることができます。

展開完了後、リソースを選択すると以下のような画面が新しく追加されます。
※サインアウトを一度しないと、作成したcluster等の情報が見れないため、しておく
以上でConsumption Interfaceの構成は完了となり、以降はKubernetesクラスタを展開したいvSphere名前空間のリソースタブから操作を行うことができます。

ここまででvSphere IaaS Control Planeの構築は完了となり、Kubernetesクラスタの作成準備が整いました。

Tanzu Kubernetes Gridの構築

それでは最後にTanzu Kubernetes Gridの構築を行っていきます。
Tanzu Kubernetes GridはvSphere IaaS Control Planeで展開されるKubernetesクラスタのことを指しています。

まず展開先とするvSphere名前空間を作成していきます。
ワークロード管理の名前空間から新規名前空間を選択して作成しておきます。

作成完了後は以下のような画面が表示されます。
権限, ストレージ, VMサービスの欄は指定をしておく必要があるため、選択しておきます。
今回は以下のように指定しています。

権限: Admoinistrator/編集可能
ストレージ: FTT-0
VMサービス: best-effort-small

続いてリソースタブに移り、Tanzu Kubernetes GridのOpenを選択します。

表示された画面でCREATEを選択します。

するとKubernetesクラスタの作成画面が表示されます。
右側にマニフェストが表示されており、その内容にそって作成が行われます。
今回はデフォルトのまま先に進みます。

設定のサマリが表示されるため、問題なければFINISHを押して作成を開始します。

すると作成が開始され、先程の画面にステータスが表示されます。
PhaseがRunningになったら作成完了です。

vSphereのインベントリを見ると、コントロールプレーンとワーカーノードが作成されていることも確認出来ます。

動作確認

それでは動作確認として、作成したTanzu Kubernetes GridにPodを立てて見ようと思います。

まずリソースタブからkubeconfigをダウンロードして、ローカルに配置します。

kubectlコマンドでkubeconfigを指定する形でget nodesをうち、表示されることを確認します。
コントロールプレーンとワーカーノードが表示されているので問題なしです。

kubectl get nodes --kubeconfig .\.kube\tkg-cluster-23tz-kubeconfig.yaml

NAME                                                           STATUS   ROLES           AGE     VERSION
tkg-cluster-23tz-jpzm6-fr4nc                                   Ready    control-plane   6m26s   v1.29.4+vmware.3-fips.1
tkg-cluster-23tz-tkg-cluster-23tz-nodepool-xdtfd-cpmkr-x77ld   Ready    <none>          31s     v1.29.4+vmware.3-fips.1

それではPodを立てるためにまずPod Securityの設定を当てておきます。
今回はdefault namespaceで作業します。

kubectl label namespace default pod-security.kubernetes.io/enforce=privileged --overwrite --kubeconfig .\.kube\tkg-cluster-23tz-kubeconfig.yaml

それではPodとserviceを展開します。
今回はnginxで簡単に確認します。

kubectl run nginx --image=nginx --port=80 --kubeconfig .\.kube\tkg-cluster-23tz-kubeconfig.yaml
kubectl expose pod nginx --port=80 --target-port=80 --type=LoadBalancer --kubeconfig .\.kube\tkg-cluster-23tz-kubeconfig.yaml

展開後以下コマンドでPodがRunning、serviceのExternel IPが振られていることを確認します。

kubectl get pods,svc --kubeconfig .\.kube\tkg-cluster-23tz-kubeconfig.yaml

NAME        READY   STATUS    RESTARTS   AGE
pod/nginx   1/1     Running   0          32s

NAME                 TYPE           CLUSTER-IP      EXTERNAL-IP    PORT(S)        AGE
service/kubernetes   ClusterIP      10.96.0.1       <none>         443/TCP        7m29s
service/nginx        LoadBalancer   10.101.174.30   192.168.1.35   80:30361/TCP   31s
service/supervisor   ClusterIP      None            <none>         6443/TCP       7m18s

Externel IPに接続して、無事nginxにアクセスできたら完了です。

まとめ

今回はvSphere IaaS Control Planeを展開してみました。基本はvSphere with Tanzuと同じ構築方法な感じでした。
展開後のスーパーバイザーサービスが自動で作られたり、スーパーバイザーサービスを用いることでvSphere Client上からクラスタを作成できるのは便利だなという感触です。

おまけ

私の環境特有の問題かもしれないですが、HA ProxyをOVFテンプレートからデプロイする際にローカルファイルを指定すると何故かエラーが出ることが多かったです。
コンテンツライブラリに一度上げてから展開すると安定したため、同事象が起きた場合はお試しください。

参考にしたサイト