導入

業務で扱っているアプリケーションの動作環境がEKSで、Ingress Controllerとして「AWS Load Balancer Controller」を導入する機会があった。仕組みを理解するのに少し時間かかったので、備忘録として残す。

参考

全体像

作るもの
・IAM OIDCプロバイダ
・IAMロール/IAMポリシー
・k8s内のServiceAccount
・k8s内のPod(AWS Load Balancer Controller)

導入手順

手順1：IAM OIDCプロバイダ作成

IAM OIDCプロバイダはIAMのコンソール画面より作成可能だが、eksctl utilsの1コマンドで作成できる。

eksctl utils associate-iam-oidc-provider --cluster <cluster_name> --approve

コマンド実行結果

hoge@hogehogenoMacBook-Air k8s practice % eksctl utils associate-iam-oidc-provider --cluster test-cluster --approve
2021-12-21 09:45:15 [ℹ]  eksctl version 0.76.0
2021-12-21 09:45:15 [ℹ]  using region ap-northeast-1
2021-12-21 09:45:16 [ℹ]  will create IAM Open ID Connect provider for cluster "test-cluster" in "ap-northeast-1"
2021-12-21 09:45:16 [✔]  created IAM Open ID Connect provider for cluster "test-cluster" in "ap-northeast-1"

手順1実施後の状態

※ IAM OIDCプロバイダとは？
・IAMロール、IAMポリシー等に並んで存在するもの
・IAM OIDCプロバイダが提供するIDトークン＝ AWS STSが発行するトークン
・EKSクラスタ内のPodが他のAWSリソースに対して操作したい時に、
　IDトークンとして「対象AWSリソースの操作権限を持つSTSトークン」を提供してあげる。

手順2：IAMポリシー作成（ALBを作成する権限）

IAMポリシー用のJSON取得

curl -o iam_policy.json https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.2.0/docs/install/iam_policy.json

IAMポリシー作成コマンド

aws iam create-policy \
    --policy-name AWSLoadBalancerControllerIAMPolicy \
    --policy-document file://iam_policy.json

コマンド実行結果

{
    "Policy": {
        "PolicyName": "AWSLoadBalancerControllerIAMPolicy",
        "PolicyId": "ANPAVWWCJ6364SU2N2RSN",
        "Arn": "arn:aws:iam::392323266301:policy/AWSLoadBalancerControllerIAMPolicy",
        "Path": "/",
        "DefaultVersionId": "v1",
        "AttachmentCount": 0,
        "PermissionsBoundaryUsageCount": 0,
        "IsAttachable": true,
        "CreateDate": "2021-12-21T00:47:53+00:00",
        "UpdateDate": "2021-12-21T00:47:53+00:00"
    }
}

手順2実施後の状態

手順3：k8s内のServiceAccount＆IAMロール作成

・「eksctl create iamserviceaccount」で
　　①k8s内のServiceAccount
　　②ServiceAccountに紐づかせるIAMロール
　の両方を作成できる

eksctl create iamserviceaccount \
  --cluster= <cluster-name> \
  --namespace=kube-system \
  --name=aws-load-balancer-controller \
  --attach-policy-arn=arn:aws:iam::<手順2で作成したIAMポリシーのARN>:policy/AWSLoadBalancerControllerIAMPolicy \
  --override-existing-serviceaccounts \
  --approve

コマンド実行結果

2021-12-21 09:49:14 [ℹ]  eksctl version 0.76.0
2021-12-21 09:49:14 [ℹ]  using region ap-northeast-1
2021-12-21 09:49:15 [ℹ]  1 iamserviceaccount (kube-system/aws-load-balancer-controller) was included (based on the include/exclude rules)
2021-12-21 09:49:15 [!]  metadata of serviceaccounts that exist in Kubernetes will be updated, as --override-existing-serviceaccounts was set
2021-12-21 09:49:15 [ℹ]  1 task: { 
    2 sequential sub-tasks: { 
        create IAM role for serviceaccount "kube-system/aws-load-balancer-controller",
        create serviceaccount "kube-system/aws-load-balancer-controller",
    } }2021-12-21 09:49:15 [ℹ]  building iamserviceaccount stack "eksctl-test-cluster-addon-iamserviceaccount-kube-system-aws-load-balancer-controller"
2021-12-21 09:49:16 [ℹ]  deploying stack "eksctl-test-cluster-addon-iamserviceaccount-kube-system-aws-load-balancer-controller"
2021-12-21 09:49:16 [ℹ]  waiting for CloudFormation stack "eksctl-test-cluster-addon-iamserviceaccount-kube-system-aws-load-balancer-controller"
2021-12-21 09:49:32 [ℹ]  waiting for CloudFormation stack "eksctl-test-cluster-addon-iamserviceaccount-kube-system-aws-load-balancer-controller"
2021-12-21 09:49:49 [ℹ]  waiting for CloudFormation stack "eksctl-test-cluster-addon-iamserviceaccount-kube-system-aws-load-balancer-controller"
2021-12-21 09:49:51 [ℹ]  created serviceaccount "kube-system/aws-load-balancer-controller"

# kube-system名前空間にServiceAccount「aws-load-balancer-controller」が作成されていることを確認
hoge@hogehogenoMacBook-Air k8s practice % kubectl get sa -n kube-system
NAME                                 SECRETS   AGE
attachdetach-controller              1         30m
aws-cloud-provider                   1         30m
aws-load-balancer-controller         1         2m7s ←作成されている
aws-node                             1         31m
certificate-controller               1         30m

手順3実施後の状態

※ ServiceAccountとは？
・Pod内からPod外のリソースにアクセスするためのロール
・k8s内で管理されるもの

手順4：AWS Load Balancer Controller(Pod)の作成

・helm chartsを利用する

実行コマンド

a. TargetGroupBinding のカスタムリソース定義をインストール【ALB作成時に利用する情報】
kubectl apply -k "github.com/aws/eks-charts/stable/aws-load-balancer-controller/crds?ref=master"

b. eks-charts リポジトリを追加
helm repo add eks https://aws.github.io/eks-charts

c. ローカルリポジトリを更新して、最新のグラフがあることを確認
helm repo update

d. AWS Load Balancer Controllerをインストール
helm upgrade -i aws-load-balancer-controller eks/aws-load-balancer-controller \
  --set clusterName=test-cluster \
  --set serviceAccount.create=false \
  --set serviceAccount.name=aws-load-balancer-controller \
  -n kube-system

e. Controllerがinstallされていることの確認
kubectl get deployment -n kube-system aws-load-balancer-controller

e. Controllerがinstallされていることの確認

hoge@hogehogenoMacBook-Air k8s practice % kubectl get deployment -n kube-system aws-load-balancer-controller
NAME                           READY   UP-TO-DATE   AVAILABLE   AGE
aws-load-balancer-controller   2/2     2            2           58s
hoge@hogehogenoMacBook-Air k8s practice % kubectl get pod -n kube-system                                    
NAME                                            READY   STATUS    RESTARTS   AGE
aws-load-balancer-controller-7684b8d694-gj6z5   1/1     Running   0          61s ★作成されている★
aws-load-balancer-controller-7684b8d694-px5m7   1/1     Running   0          61s ★作成されている★
aws-node-lq79l                                  1/1     Running   0          20m
aws-node-wb7l5                                  1/1     Running   0          25m
coredns-76f4967988-6cg68                        1/1     Running   0          34m
coredns-76f4967988-bq9g2                        1/1     Running   0          34m
kube-proxy-8bcmx                                1/1     Running   0          25m
kube-proxy-lc86n                                1/1     Running   0          20m

手順4実施後の状態

※ helm chartsとは？
・誰かが用意してくれたYAML一式でPod構築できちゃうやつ
　（めちゃめちゃ説明雑だがあってるはず笑）
・自分で0からAWS Load Balancer ControllerのYAMLを組むのはめっちゃだるい
　 → 既に用意されているYAML一式をhelm chartsで利用する

Ingressリソースを検知してALBが作成される