OCIのマネージドKubernetesサービス (OKE) をカスタム作成してみた

背景

この記事は、Oracle Cloud Infrastructure Advent Calendar 2023 Day 25 の記事として書かれています。
今回はOracle CloudでKubernetesの環境であるOKEをカスタム作成してみます。クイックスタートでは、Kubernetes環境の作成は簡単ですが、自動でVCNとサブネットが作られたり、CIDRが決まっていたりと限定的な構成になってしまいます。そこでより詳細な設定が可能で自由度の高いカスタム作成を使って、Kubernetesクラスタを作成し、kubectlコマンドで疎通確認して基本的なOKE環境を構築したいと思います。

OKEとは

Oralce Cloudでは、KubernetesのマネージドサービスとしてOracle Container Engine for Kubernetes (OKE) が提供されています。

OKEクラスターの作成にはクイック作成とカスタム作成の２つの作成方法があります。

クイック作成

Kubetnetesのクラスタとクラスタのネットワーク、Kubernetes APIエンドポイントなど作成に必要な周辺のリソースも含めて、自動的に作成される方法です。Kubenetesクラスタで使われるCIDRは固定で作成されます。
クイック作成についてはOCI Tutorialがあるのでこちらをご確認ください。

作成されるリソース

• Kubernetes API Endpoint
• 仮想クラウド・ネットワーク
• Internet Gateway
• NAT Gateway
• Service Gateway
• Kubernetesクラスタ
• Kubernetesワーカー・ノード、ノードプール

カスタム作成

Kubernetesクラスタとワーカーノード、ノードプールのみ作成され、Kubernetestクラスタを最大限に制御できる作成方法です。クイック作成と比べて、CIDR範囲を決められたりとネットワークの自由度が高く、LBやノードを置くサブネットの指定をはじめ様々な設定ができます。

作成されるリソース

• Kubernetesクラスタ
• Kubernetesワーカー・ノード、ノードプール

手順

では、実際に構築していきます。今回はこの基本的なKubernetesの環境を構築します。

VCNの作成

まずVCNを作成します。今回はVCNウィザードを使用して、サブネットやゲートウェイを自動で作成しました。ここでパブリック・サブネットやプライベートサブネットのCIDRを自由に指定できます。

次に、OKEへの接続とOKE内の通信を通すためパブリック・サブネットとプライベート・サブネットに追加で紐づけるセキュリティ・リストを作成します。今回は以下のようなセキュリティ・リストを作成しました。

• パブリック・サブネット用

  • oke_public（イングレス・ルール）
    

  • oke_public（エグレス・ルール）
    

• プライベート・サブネット用

  • oke_private（イングレス・ルール）
    

  • oke_private（エグレス・ルール）
    

セキュリティ・リストをそれぞれのサブネットに紐づけます。(VCNウィザードを使って作成した場合は、すでにセキュリティ・リストが1つ紐づいているので２つめとして紐づけます。）より詳細なネットワークを構築する場合はクラスタの作成とデプロイメントのためのネットワーク・リソース構成を参考に作成してください。
これでVCNの構築は終了です。

OKEクラスタの作成

次にOKEクラスタをカスタム作成します。OKEの画面に遷移して、クラスタの作成からカスタム作成を選択します。

クラスタ名を入力し「Kubernetesのバージョン」を指定します。「Kubernetesのバージョン」とは、クラスタのコントロール・プレーン・ノードで実行するKubernetesのバージョンのことを指します。バージョンによってデフォルトで有効になるアドミッション・コントローラが変わります。詳細は[サポートされているアドミッション・コントローラ]

(https://docs.oracle.com/ja-jp/iaas/Content/ContEng/Reference/contengadmissioncontrollers.htm#Supported_Admission_Controllers)をご確認ください。
今回はv1.28.2を使用します。

続いて「拡張オプションの表示」をクリックすると、様々なオプションを設定することができます。

イメージの検証

イメージの検証は、指定したマスター暗号化キーによって署名されたOracle Cloud Infrastructre Registry (OCIR)からのイメージをデプロイに使用することを許可するかを選択できます。ボールトとキーを選択することで利用できます。(クイック作成でも可能。）

Kubetnetesシークレットの暗号化

クラスタのetcd key value storeのKubetnetesシークレットを暗号化する方法を指定できます。Oralce管理キーを使用する暗号化と自分が管理するキーをする暗号化が選択できます。

クラスタ・アドオンの構成

クラスタ・アドオンの管理方法を指定します。（拡張クラスタでのみ指定可能です。）CoreDNS, Kube-proxy, Kubernetesダッシュボード, 証明書マネージャ, データベース・オペレータ, WLSオペレータを有効または無効にしたり、アドオンのバージョンを変更することができます。

ネットワーク・タイプ

ネットワーク・タイプはクラスタ内のポッドが通信する方法を選択できます。VCNネイティブ・ポッド・ネットワーキングとFlannel Overayが選択できます。

• VCNネイティブ・ポッド・ネットワーキング
  OKEのノードをVCNのサブネットにポッド接続します。VCN内のポッドのIPアドレスに対して他のVCNから直接ルーティングが可能になります。仮想ノードと管理対象ノードを作成することができます。

• Flannel Overay
  独自のCIDRブロックを使用して、ポッド、ワーカー・ノードをIPアドレスでプロビジョニングします。ノード当たりのポッドの数がVCNネイティブ・ポッド・ネットワーキングCNIの制限を超える場合は、flannel Overayを選択してください。管理対象ノードのみを作成することができます。

今回はVCNネイティブ・ポッド・ネットワーキングを選択します。

次に、VCNの作成で作成したVCNを指定します。

KubernetesサービスLBサブネットを指定します。これは、ロードバランサをホストするためのサブネットで、ワーカー・ノード・サブネットとは異なる必要があります。パブリックやプライベートにすることも、リージョナルやAD固有にすることも可能です。

次にKubernetesAPIエンドポイント・サブネットを指定します。これはKubernetes APIエンドポイントをホストするサブネットを選択できます。サブネットはパブリックとプライベートを選択することができます。Kubernetes APIエンドポイントには常にプライベートIPアドレスが割り当てられます。パブリックサブネットを指定した場合は、パブリックIPアドレスとプライベートIPアドレスが割り当てることができます。
APIエンドポイントへのパブリックIPアドレスの割り当てにチェックを入れると、エンドポイントをインターネットに公開できます。今回はパブリックIPアドレスを割り当てます。

次に、「拡張オプションの表示」をクリックするとKubernetsサービスCIDRブロックとポッドCIDRブロックを指定することができます。

• Kubernetesサービスブロック
  Kubernetsサービスで公開できるCIDRブロックを指定できます。

• ポッドCIDRブロック
  クラスタ内のポッドに割り当てることができるCIDRブロックを指定できます。Flannel Overayを選択した場合のみ指定できます。

ノード・プール

次に、ノードプールの構成の詳細を指定していきます。
まずNode Poolの名前、コンパートメント、ノードタイプ、バージョンを指定します。ノードタイプは、ワーカー・ノードのタイプとして、管理対象ノードと仮想ノードが選択できます。詳細は仮想ノードと管理対象ノードを参照してください。今回は管理対象ノードを指定します。

次にノード配置構成を指定します。可用性ドメインワーカー・ノード・サブネット、フォルトドメインを指定します。
「拡張オプションの表示」をクリックすると容量タイプを指定できます。
ノード配置を他のドメインやサブネットに追加したい場合は、「+1行」をクリックして、２つ目のノード配置構成を追加します。ワーカー・ノードが作成されると指定したサブネットに可能な限り均等に分散配置されます。

次にシェイプとイメージを指定します。OKEでサポートされているシェイプが表示されるので適当なシェイプを選択します。

イメージにはプラットフォームイメージとOKEワーカー・ノードのイメージがあります。

• プラットフォームイメージ
  Oracleで提供されているOracle Linux OSが選択できます。

• OKEワーカー・ノードのイメージ
  プラットフォームイメージの上に作成された、OKEに必要な構成やソフトウェアと、ワーカー・ノードのベース・イメージとして機能するように最適化されたイメージです。

次にノード・プール・オプションにて、ノード・プール内のノード数を指定します。
続いて、ブートボリュームのオプションを指定します。ブートボリュームのサイズや暗号化オプションを指定したい場合はチェックを付けて変更します。

次に、ポッド通信の詳細を指定します。ポッド・サブネットでノード・プール内のポットが相互に通信する方法を指定します。
ポッドをホストするサブネットとアクセス制御を定義したネットワーク・セキュリティ・グループ(NSG)を指定します。
拡張オプションの表示をクリックして、ノード内のポッド数を選択できます。ポッドの最大数は110です。

次に、拡張オプションの表示をクリックします。
「Cordonおよびdrain」の項目で、ノードの終了前にCordonとdrainするタイミングを設定できます。
削除猶予期間(分)で、ワーカー・ノードをCordon、drainできる期間を指定できます。
「猶予期間後に強制終了」を選択すると、猶予期間終了後にワーカー・ノードを終了するかどうかを指定できます。これを選択した場合、猶予期間終了後、正常にCordon、drainされていない場合も強制終了されます。

「初期化スクリプト」はノードをホストしているインスタンスを初めて起動した際に実行されるcloud-initスクリプトを指します。スクリプトのファイルを選択するか、cloud-initスクリプトを直接貼り付けることができます。

また、ノードやノード・プールにタグを設定することも可能です。
ワーカー・ノードに対してSSHキーを追加して、SSH接続の設定を行うこともできます。

次の確認画面のページに遷移し、使用される既存リソースと作成されるリソースを確認します。
最後に、「Basicクラスタを作成」するかの確認をします。拡張クラスタの機能を使用する場合はチェックをはずし、Basicクラスタを作成する場合はチェックを入れます。

最後にクラスタの作成を押して、OKEのクラスタを作成開始します。
クラスタの作成が完了し、表示が緑色のアクティブになれば作成完了です。

正常にノードが立ち上がっていることも確認してください。
以上の手順でOKEのクラスタをカスタム作成できました。

OKEへの疎通確認

OKEクラスタに対して、kubectlコマンドで接続できるかを確認します。
まず、kubeconfigを設定します。OKEの「クラスタ詳細」の画面、リソースのクイックスタートを選択します。

「クラスタへのアクセス」をクリックし、Cloud Shellを起動させてコマンドをコピーしてを実行します。

oci ce cluster create-kubeconfig --cluster-id <OKE-CLUSTER-OCID> --file $HOME/.kube/config \
--region <REGION-CODE> --token-version 2.0.0  --kube-endpoint PUBLIC_ENDPOINT

以下のコマンドでバージョンを確認します。

kubectl version --short

また、kubectl get nodesなどでワーカー・ノードも確認してみてください。

NAME         STATUS     ROLES   AGE   VERSION
10.0.1.201   NotReady   node    8h    v1.27.2
10.0.1.237   NotReady   node    8h    v1.27.2
10.0.1.84    NotReady   node    8h    v1.27.2

以上が、カスタム作成でOKEクラスタを作成する手順になります。

まとめ

今回はOCI上でOKEのカスタム作成を用いて、Kubernetesクラスタを作成しました。また作成したクラスタに接続できるようにネットワークを構築し、疎通確認も行いました。

参考