What's This
AWSにおいて、k8sでいうIngressはどう作成するのか調査。
ALBを使うのだろうということは想定していたが、どうやって作成するのか気になった。
AWS Load Balancer Controllerを使用して、Ingress を作成したメモです。
あくまでメモなので、参考にされる場合は、公式ドキュメント等の副読的な感じで読まれると幸いです。
概念
大まかな概念
ALBは、Kubernetes Manifestから、ALB Ingress Controllerを使用して作成できる。
このControllerは、元々はAWS ALB Ingress Controllerだったものが、
Rename & Redesignedされて、AWS Load Balancer Controllerに変わったらしい。
（何が変わったのかよくわかっていない）
＊元々ALBしか作成できなかったが、ALBとNLBも作成できるようになった、という変更があるらしい。
前者の方はもう開発もされておらず、最新のk8s Versionもサポートしないらしい。
https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/aws-load-balancer-controller.html
https://kubernetes.io/ja/docs/tutorials/kubernetes-basics/expose/expose-intro/
modeについて
Instance mode
クラスター内のノードをALBのターゲットとして登録する。
デフォルトのモード。
サービスの NodePort にルーティングされてから、pods にプロキシされる。
(NodePortはKubernetesのNodeのランダムなポートを使用して外部のサーバーからの疎通性を取ってくれる。)
以下のように、Annotationで明示的に指定することもできる。
alb.ingress.kubernetes.io/target-type: instance
IP mode
Podを ALBのターゲットとして設定する。
ALB に到達するトラフィックは、サービスの pods に直接ルーティングされる。
このトラフィックモードを使用するには、 以下のように、Annotationで指定する。
alb.ingress.kubernetes.io/target-type: ip
イメージ
やってみた
ALB Ingress Controllerを使用して、ALBを作成する。DNS名でアプリを開けるか検証する。
ALB Ingress Controller用にIAMを整える
# Cluster Create
eksctl create cluster --name=`Cluster Name` --nodes=1 --node-type=t3.small --zones=ap-northeast-1a,ap-northeast-1c --without-nodegroup
# eksctl versionが最新であることを確認
$ eksctl version
0.107.0
# OIDC Create
$ eksctl utils associate-iam-oidc-provider --region ap-northeast-1 --cluster `Cluster Name` --approve
# NodeGroup Create
$ eksctl create nodegroup --cluster=`Cluster Name` --region=ap-northeast-1 --name=`NodeGroup Name` --node-type=t3.medium --nodes-min=2 --nodes-max=4 --node-volume-size=20 --ssh-access --managed --asg-access --external-dns-access --full-ecr-access --appmesh-access --alb-ingress-access
$ eksctl get nodegroup --cluster=`Cluster Name`
# Context 設定
$ aws eks --region ap-northeast-1 update-kubeconfig --name `Cluster Name`
# Nodeができていることを確認
$ kubectl get nodes
# AWS Load Balancer ControllerにIAMポリシーを作成し、AWS APIへの呼び出しを代行させる。
$ curl -o iam_policy_latest.json https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/main/docs/install/iam_policy.json
＃ Create Policy
$ aws iam create-policy \
> --policy-name AWSLoadBalancerControllerIAMPolicy \
> --policy-document file://iam_policy_latest.json
# Create IAM Role using eksctl
# kube-system名前空間に、作成予定のサービスアカウントがないことを確認。
$ kubectl get sa -n kube-system
$ kubectl get sa aws-load-balancer-controller -n kube-system
Error from server (NotFound): serviceaccounts "aws-load-balancer-controller" not found
$ eksctl create iamserviceaccount \
> --cluster=`Cluster Name` \
> --namespace=kube-system \
> --name=aws-load-balancer-controller \
> --attach-policy-arn=arn:aws:iam::`Account Number`:policy/AWSLoadBalancerControllerIAMPolicy \
> --override-existing-serviceaccounts \
> --approve
$ eksctl get iamserviceaccount --cluster `Cluster Name`
NAMESPACE NAME ROLE ARN
kube-system aws-load-balancer-controller arn:aws:iam::
$ kubectl get sa aws-load-balancer-controller -n kube-system
NAME SECRETS AGE
aws-load-balancer-controller 1 7m8s
$ kubectl describe sa aws-load-balancer-controller -n kube-system
Name: aws-load-balancer-controller
Namespace: kube-system
Labels: app.kubernetes.io/managed-by=eksctl
Annotations: eks.amazonaws.com/role-arn: arn:aws:iam::
Image pull secrets: <none>
Mountable secrets: aws-load-balancer-controller-token-
Tokens: aws-load-balancer-controller-token-
Events: <none>
Helm & aws-load-balancer-controller Install
# Helm Install
$ brew install helm
$ helm version
$ helm repo update
# ECRについてはコード外の資料を参照
$ helm install aws-load-balancer-controller eks/aws-load-balancer-controller -n kube-system --set clusterName=`Cluster Name` --set serviceAccount.create=false --set serviceAccount.name=aws-load-balancer-controller --set image.repository=602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon/aws-load-balancer-controller
NAME: aws-load-balancer-controller
LAST DEPLOYED:
NAMESPACE: kube-system
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
AWS Load Balancer controller installed!
$ kubectl -n kube-system get deployment
NAME READY UP-TO-DATE AVAILABLE AGE
aws-load-balancer-controller 2/2 2 2 36s
coredns 2/2 2 2 60m
$ kubectl -n kube-system describe deployment aws-load-balancer-controller
# Webhook-svcが作成されていることを確認。
$ kubectl -n kube-system get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
aws-load-balancer-webhook-service ClusterIP xx.xxx.xx.x <none> 443/TCP 73s
kube-dns ClusterIP xx.xxx.x.x <none> 53/UDP,53/TCP 60m
$ kubectl -n kube-system describe svc aws-load-balancer-webhook-service
$ kubectl -n kube-system get svc aws-load-balancer-webhook-service -o yaml
$ kubectl -n kube-system get deployment aws-load-balancer-controller -o yaml
$ kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
aws-load-balancer-controller-xxxxxxxxxxxxxxxxx 1/1 Running 0 8m12s
aws-load-balancer-controller-xxxxxxxxxxxxxxxx 1/1 Running 0 8m12s
aws-node-xxxxx 1/1 Running 0 43m
aws-node-xxxxx 1/1 Running 0 43m
coredns-xxxxxxxxxxxxxxxx 1/1 Running 0 67m
coredns-xxxxxxxxxxxxxxxx 1/1 Running 0 67m
kube-proxy-xxxxx 1/1 Running 0 43m
kube-proxy-xxxxx 1/1 Running 0 43m
# Log 確認
$ kubectl -n kube-system logs -f aws-load-balancer-controller-xxxxxxxxxxxxxxxxx
# Secretが作成されていることを確認
$ kubectl -n kube-system get sa aws-load-balancer-controller -o yaml
$ kubectl -n kube-system get secret aws-load-balancer-controller-token-xxxxx -o yaml
$ kubectl -n kube-system get secret aws-load-balancer-controller-token-xxxxx
NAME TYPE DATA AGE
aws-load-balancer-controller-token-xxxxx kubernetes.io/service-account-token 3 28m
$ kubectl -n kube-system get secret aws-load-balancer-controller-token-xxxxx -o yaml
# kube-system内のdeployment確認
$ kubectl get deployment.apps -n kube-system
NAME READY UP-TO-DATE AVAILABLE AGE
aws-load-balancer-controller 2/2 2 2 48m
coredns 2/2 2 2 107m
$ kubectl describe deployment.apps/aws-load-balancer-controller -n kube-system
ECRについては以下参照
https://docs.aws.amazon.com/eks/latest/userguide/add-ons-images.html
Sample Application Deploy
$ kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.4.2/docs/examples/2048/2048_full.yaml
namespace/game-2048 created
deployment.apps/deployment-2048 created
service/service-2048 created
ingress.networking.k8s.io/ingress-2048 created
$ kubectl get ingress/ingress-2048 -n game-2048
NAME CLASS HOSTS ADDRESS PORTS AGE
ingress-2048 alb * k8s-game2048-ingress2-xxx.ap-northeast-1.elb.amazonaws.com 80 22s
ADDRESSにアクセス。表示されました。
Conclusion
この検証では、バージョン関係でエラーになり、最初からやり直すことが多かったので、
もし試す際には、その辺りを意識されると手戻りが少なく済むかもしれないです。
例
https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/ v2.4.2 /
https://kubernetes-sigs.github.io/aws-load-balancer-controller/ v2.3 /
こんな感じで、kubernetes sigsのリソースを使用する際は、バージョンが最新か確認するといいかもしれないです。
Refference
・https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/alb-ingress.html
・https://www.eksworkshop.com/beginner/130_exposing-service/ingress/
・https://dev.classmethod.jp/articles/eks-aws-alb-ingress-controller/
・https://developer.mamezou-tech.com/containers/k8s/tutorial/ingress/ingress-aws/
・https://github.com/stacksimplify/aws-eks-kubernetes-masterclass/tree/master/08-NEW-ELB-Application-LoadBalancers/08-01-Load-Balancer-Controller-Install
参考にさせていただきました。ありがとうございます。