本記事は個人の意見であり、所属する組織の見解とは関係ありません。

こちらはAmazon EKS Advent Calendar 2019の18日目の記事です。現在の時刻は、12/18 190時ぐらいでしょうか

re:Inventでの EKS on Fargete 発表もあり、改めてEKSに注目されている方も多くいらっしゃると思います。re:Inventで発表された内容そのものではありませんが、今回はVPC内部の通信のみでEKSを利用できるかを手順のウォークスルーを通じて確認していきます。

確認結果

12月24日現在の動作として次の様な挙動をします。

Worker Node としてEC2 インスタンスを利用している場合、 VPC 内部通信のみで利用可能
AWWS Fargete を利用している場合、インターネット通信が必要である。

結果としては、EKS を VPC 内部通信のみで利用する事が可能です。もちろん、利用している add on 等のツールがインターネット通信を必要とするケースもあると思います。実際の利用においては、手持ちの環境で事前検証をする事をおすすめします。 Fargateを利用する場合は、現時点ではインターネット通信が必要ですが、これは実際の動作から確認したものであるという点にご留意ください。

検証の流れ

インターネット通信を遮断した状況でのセットアップは地味に手間がかかりますね。今回は Cloud9 + VPC Peering を利用してみました。EKS 用のVPCに作成されたリソースからは直接のインターネットアクセスは出来ません。作業用となるCloud9 インスタンスからはインターネットにアクセス出来ます。

EKS clusterを作成する VPC には4つの Subnet があり、そのうち3つは Worker Node を作成する Subnet として利用します。残りの1つは、予備として作成しておきます。これはあとで、インターネット通信が必要になった場合に、NATGW を作成する為の Subnet として利用します。(結果的にこのsubnetを利用する事になりました。)

VPC内部通信に制限する為に、VPC endpoint 活用していきます。利用するサービス、環境に応じて、適宜アレンジしてみてください。ユースケースを妄想しながら、この辺りは使うかな？と以下の様な環境で構成してみました。

Amazon ECR VPCエンドポイント(ecr.apiとecr.dkrの2種類)
Amazon S3 VPCエンドポイント
Amazon EC2 VPCエンドポイント
Amazon Cloudwatch logs VPCエンドポイント

現時点では、EKS のAPI は VPC endpoint をサポートしていませんので、EKS 自身の管理は public な endpoint 経由で実施する必要があります。

環境セットアップ

Cloud9 インスタンスで必要なツール類(aws cli、kubectl、eksctl)のセットアップ、EC2 インスタンスへのIAM ロール設定を済ませたらいざセットアップの開始です。
(Cloud9を利用する場合のセットアップ内容は eks workshopの手順が参考になります。)

まず最初にEKS clusterを作成する際に利用するIAM認証情報を確認しておきます。ここが想定と異なる場合、設定を見直しましょう

$ aws sts get-caller-identity
{
    "Account": "123456789012",
    "UserId": "AROA5O666JYXWZ5UOGYY7:i-xxxxxxxxxxxxxxxxx", 
    "Arn": "arn:aws:sts::123456789012:assumed-role/eks-admin/i-xxxxxxxxxxxxxxxxx"
}

続いてeksctlで既存VPC上に EKS cluster を作成します。

$ cat eks-cluster.yml 
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: eks-cluster-private
  region: us-east-2
vpc:
  clusterEndpoints:
    publicAccess: false
    privateAccess: true
  id: vpc-038949360da1e5281
  cidr: 172.16.0.0/16
  subnets:
    private:
      us-east-2a: { id: subnet-0b369e89278e184bc }
      us-east-2b: { id: subnet-0566c87640b758942 }
      us-east-2c: { id: subnet-0c7c9a28ec7c595bd }

nodeGroups:
  - name: private-standard-group
    instanceType: t3.medium
    desiredCapacity: 3
    maxSize: 3
    minSize: 3
    privateNetworking: true
    
    
cloudWatch:
  clusterLogging:
    enableTypes:
      - api
      - audit
      - authenticator
      - controllerManager
      - scheduler

$ eksctl create cluster -f eks-cluster.yml [ℹ]  eksctl version 0.11.1
[ℹ]  using region us-east-2
[✖]  warning, having public access disallowed will subsequently interfere with some features of eksctl. This will require running subsequent eksctl (and Kubernetes) commands/API calls from within the VPC.  Running these in the VPC requires making updates to some AWS resources.  See: https://docs.aws.amazon.com/eks/latest/userguide/cluster-endpoint.html#private-access for more details

いきなりつまづきました。eksctl で cluster を作成する場合に、public accessをdisableとした場合は、clusterの作成が行えない様です。aws cli での作成に切り替えます。

$ aws eks --region us-east-2 create-cluster --name privateEKS \
--kubernetes-version 1.14 \
--role-arn arn:aws:iam::123456789012:role/eksServiceRole \
--resources-vpc-config subnetIds=subnet-0b369e89278e184bc,\
subnet-0566c87640b758942,subnet-0c7c9a28ec7c595bd,\
securityGroupIds=sg-0b6ecda1c7a802b79,\
endpointPublicAccess=false,endpointPrivateAccess=true

Clusterの作成が完了するまで少し時間がかかりますので、その間に ECR repository の作成と、適当な Docker イメージを push しておきます。

$ aws ecr --region us-east-2 create-repository --repository-name private4eks
$ $(aws ecr get-login --no-include-email --regio us-east-2)

$ docker tag private4eks:01 123456789012.dkr.ecr.us-east-2.amazonaws.com/private4eks:01
$ docker push  123456789012.dkr.ecr.us-east-2.amazonaws.com/private4eks:01

Worker Node にEC2 インスタンスを利用する場合

最初に Managed Node Group を作成して、Worker Node のセットアップを行います。 Managed Node Group は、11月にリリースされたアップデートで、こちらを使うと Worker Node をいい感じに構成できます。なお、 Worker Node で利用するIAM ロールを指定していますが、これは事前に作成しておく必要があります。

aws eks create-nodegroup --cluster-name privateEKS \
--nodegroup-name privateGroup \
--subnets subnet-0b369e89278e184bc,subnet-0566c87640b758942,subnet-0c7c9a28ec7c595bd \
--node-role arn:aws:iam::123456789012:role/eks-nodegroup-ng-NodeInstanceRole \
--region us-east-2

Worker Node が構成され、cluster に Join している事を確認します。

$ kubectl get node                                                   
NAME                                                  STATUS   ROLES    AGE     VERSION
ip-172-16-4-166.us-east-2.compute.internal            Ready    <none>   2m25s   v1.14.7-eks-1861c5
ip-172-16-40-206.us-east-2.compute.internal           Ready    <none>   2m41s   v1.14.7-eks-1861c5

これで準備が整いました。先ほど push した docker イメージを利用して pod を作成してみます。

$ kubectl create deployment ec2-app --image 123456789012.dkr.ecr.us-east-2.amazonaws.com/private4eks:01

deployment.apps/ec2-app created


$ kubectl get deployments
NAME      READY   UP-TO-DATE   AVAILABLE   AGE
ec2-app   1/1     1            1           51s

Fargate での動作を確認する前に、kube-system で動いている CoreDNS の状況を確認しておきます。Managed Workger Group 経由で起動したEC2 インスタンス上で起動されていることがわかります。

$ kubectl get po,node -o wide --namespace kube-system
NAME                           READY   STATUS    RESTARTS   AGE   IP              NODE                                          NOMINATED NODE   READINESS GATES
pod/aws-node-v9w2h             1/1     Running   0          36m   172.16.4.166    ip-172-16-4-166.us-east-2.compute.internal    <none>           <none>
pod/aws-node-x72b7             1/1     Running   0          36m   172.16.40.206   ip-172-16-40-206.us-east-2.compute.internal   <none>           <none>
pod/coredns-6ffc87dccf-6nf22   1/1     Running   0          44m   172.16.7.56     ip-172-16-4-166.us-east-2.compute.internal    <none>           <none>
pod/coredns-6ffc87dccf-hr8hp   1/1     Running   0          44m   172.16.5.204    ip-172-16-4-166.us-east-2.compute.internal    <none>           <none>
pod/kube-proxy-2z775           1/1     Running   0          36m   172.16.40.206   ip-172-16-40-206.us-east-2.compute.internal   <none>           <none>
pod/kube-proxy-hrd9c           1/1     Running   0          36m   172.16.4.166    ip-172-16-4-166.us-east-2.compute.internal    <none>           <none>

NAME                                               STATUS   ROLES    AGE   VERSION              INTERNAL-IP     EXTERNAL-IP    OS-IMAGE         KERNEL-VERSION                  CONTAINER-RUNTIME
node/ip-172-16-4-166.us-east-2.compute.internal    Ready    <none>   36m   v1.14.7-eks-1861c5   172.16.4.166    52.15.125.83   Amazon Linux 2   4.14.146-119.123.amzn2.x86_64   docker://18.6.1
node/ip-172-16-40-206.us-east-2.compute.internal   Ready    <none>   36m   v1.14.7-eks-1861c5   172.16.40.206   3.14.3.148     Amazon Linux 2   4.14.146-119.123.amzn2.x86_64   docker://18.6.1

Fargateを利用する場合

Fargate を利用する場合には、Worker Node 向けの設定として profile を作成します。 profile の作成はEKSの機能ですので、aws cli での作成です。今回は、namespaceにfargateが指定された場合に、Pod が Fargate 上で起動します。

aws eks create-fargate-profile --fargate-profile-name private-fargate --cluster-name privateEKS --region us-east-2 --pod-execution-role-arn arn:aws:iam::123456789012:role/AmazonEKSFargatePodExecutionRole --subnets subnet-0b369e89278e184bc subnet-0566c87640b758942 subnet-0c7c9a28ec7c595bd --selectors namespace=fargate

EC2インスタンスを利用した時と同様にPodを起動します。今回はnamespaceとしてfargateを指定しています。

$ kubectl create namespace fargate

$ kubectl create deployment fargate-app --image 123456789012.dkr.ecr.us-east-2.amazonaws.com/private4eks:01 --namespace fargate

$ kubectl get po,node -o wide --namespace fargate
NAME                               READY   STATUS    RESTARTS   AGE     IP       NODE     NOMINATED NODE                                READINESS GATES
pod/fargate-app-7fcb75bf84-ghfql   0/1     Pending   0          5m47s   <none>   <none>   6686814949-d8df61853ca64096aabccc25785772b9   <none>

NAME                                               STATUS   ROLES    AGE   VERSION              INTERNAL-IP     EXTERNAL-IP    OS-IMAGE         KERNEL-VERSION                  CONTAINER-RUNTIME
node/ip-172-16-4-166.us-east-2.compute.internal    Ready    <none>   42m   v1.14.7-eks-1861c5   172.16.4.166    52.15.125.83   Amazon Linux 2   4.14.146-119.123.amzn2.x86_64   docker://18.6.1
node/ip-172-16-40-206.us-east-2.compute.internal   Ready    <none>   42m   v1.14.7-eks-1861c5   172.16.40.206   3.14.3.148     Amazon Linux 2   4.14.146-119.123.amzn2.x86_64   docker://18.6.1

残念。PodのステータスがPendingのままです。どうやらこの環境ではFargate上でPodが起動しません。ここで Fargate 向けに指定した Subnet に適用している Route Table を変更して NATGW 経由でインターネット通信が行える様にすると、以下の様になります。無事起動しました。

$ kubectl get po,node -o wide --namespace fargate
NAME                               READY   STATUS              RESTARTS   AGE     IP       NODE                                                  NOMINATED NODE   READINESS GATES
pod/fargate-app-7fcb75bf84-ghfql   0/1     ContainerCreating   0          8m29s   <none>   fargate-ip-172-16-35-143.us-east-2.compute.internal   <none>           <none>

NAME                                                       STATUS   ROLES    AGE   VERSION              INTERNAL-IP     EXTERNAL-IP    OS-IMAGE         KERNEL-VERSION                  CONTAINER-RUNTIME
node/fargate-ip-172-16-35-143.us-east-2.compute.internal   Ready    <none>   18s   v1.14.8-eks          172.16.35.143   <none>         Amazon Linux 2   4.14.152-127.182.amzn2.x86_64   containerd://1.3.0
node/ip-172-16-4-166.us-east-2.compute.internal            Ready    <none>   45m   v1.14.7-eks-1861c5   172.16.4.166    52.15.125.83   Amazon Linux 2   4.14.146-119.123.amzn2.x86_64   docker://18.6.1
node/ip-172-16-40-206.us-east-2.compute.internal           Ready    <none>   45m   v1.14.7-eks-1861c5   172.16.40.206   3.14.3.148     Amazon Linux 2   4.14.146-119.123.amzn2.x86_64   docker://18.6.1

EC2 インスタンスを利用した時と同じ様に CoreDNS が動いている場所を確認してみます。

$ kubectl get po,node -o wide --namespace kube-system
NAME                           READY   STATUS    RESTARTS   AGE   IP              NODE                                          NOMINATED NODE   READINESS GATES
pod/aws-node-v9w2h             1/1     Running   0          49m   172.16.4.166    ip-172-16-4-166.us-east-2.compute.internal    <none>           <none>
pod/aws-node-x72b7             1/1     Running   0          49m   172.16.40.206   ip-172-16-40-206.us-east-2.compute.internal   <none>           <none>
pod/coredns-6ffc87dccf-6nf22   1/1     Running   0          57m   172.16.7.56     ip-172-16-4-166.us-east-2.compute.internal    <none>           <none>
pod/coredns-6ffc87dccf-hr8hp   1/1     Running   0          57m   172.16.5.204    ip-172-16-4-166.us-east-2.compute.internal    <none>           <none>
pod/kube-proxy-2z775           1/1     Running   0          49m   172.16.40.206   ip-172-16-40-206.us-east-2.compute.internal   <none>           <none>
pod/kube-proxy-hrd9c           1/1     Running   0          49m   172.16.4.166    ip-172-16-4-166.us-east-2.compute.internal    <none>           <none>

NAME                                                       STATUS   ROLES    AGE     VERSION              INTERNAL-IP     EXTERNAL-IP    OS-IMAGE         KERNEL-VERSION                  CONTAINER-RUNTIME
node/fargate-ip-172-16-35-143.us-east-2.compute.internal   Ready    <none>   4m52s   v1.14.8-eks          172.16.35.143   <none>         Amazon Linux 2   4.14.152-127.182.amzn2.x86_64   containerd://1.3.0
node/ip-172-16-4-166.us-east-2.compute.internal            Ready    <none>   49m     v1.14.7-eks-1861c5   172.16.4.166    52.15.125.83   Amazon Linux 2   4.14.146-119.123.amzn2.x86_64   docker://18.6.1
node/ip-172-16-40-206.us-east-2.compute.internal           Ready    <none>   49m     v1.14.7-eks-1861c5   172.16.40.206   3.14.3.148     Amazon Linux 2   4.14.146-119.123.amzn2.x86_64   docker://18.6.1

CoreDNS は標準では EC2 インスタンス上で起動する様になっています。こちらも Fargate 上で動かしたい場合は、追加の設定が必要になります。詳しくはドキュメントを参考にしてみてください。

$ aws eks create-fargate-profile --fargate-profile-name fargate \
--cluster-name privateEKS \
--region us-east-2 \
--pod-execution-role-arn arn:aws:iam::123456789012:role/AmazonEKSFargatePodExecutionRole \
--subnets subnet-0b369e89278e184bc subnet-0566c87640b758942 subnet-0c7c9a28ec7c595bd \
--selectors namespace=kube-system,labels={k8s-app=kube-dns}

$ kubectl get po,node -o wide --namespace kube-systemNAME                           READY   STATUS    RESTARTS   AGE   IP              NODE                                                  NOMINATED NODE   READINESS GATES
pod/aws-node-v9w2h             1/1     Running   0          63m   172.16.4.166    ip-172-16-4-166.us-east-2.compute.internal            <none>           <none>
pod/aws-node-x72b7             1/1     Running   0          63m   172.16.40.206   ip-172-16-40-206.us-east-2.compute.internal           <none>           <none>
pod/coredns-6d59cf6ccd-592rh   0/1     Running   0          62s   172.16.33.134   fargate-ip-172-16-33-134.us-east-2.compute.internal   <none>           <none>
pod/coredns-6d59cf6ccd-v7tjz   0/1     Running   0          62s   172.16.26.225   fargate-ip-172-16-26-225.us-east-2.compute.internal   <none>           <none>
pod/coredns-6ffc87dccf-hr8hp   1/1     Running   0          71m   172.16.5.204    ip-172-16-4-166.us-east-2.compute.internal            <none>           <none>
pod/kube-proxy-2z775           1/1     Running   0          63m   172.16.40.206   ip-172-16-40-206.us-east-2.compute.internal           <none>           <none>
pod/kube-proxy-hrd9c           1/1     Running   0          63m   172.16.4.166    ip-172-16-4-166.us-east-2.compute.internal            <none>           <none>

NAME                                                       STATUS   ROLES    AGE   VERSION              INTERNAL-IP     EXTERNAL-IP    OS-IMAGE         KERNEL-VERSION                  CONTAINER-RUNTIME
node/fargate-ip-172-16-26-225.us-east-2.compute.internal   Ready    <none>   6s    v1.14.8-eks          172.16.26.225   <none>         Amazon Linux 2   4.14.152-127.182.amzn2.x86_64   containerd://1.3.0
node/fargate-ip-172-16-33-134.us-east-2.compute.internal   Ready    <none>   10s   v1.14.8-eks          172.16.33.134   <none>         Amazon Linux 2   4.14.152-127.182.amzn2.x86_64   containerd://1.3.0
node/fargate-ip-172-16-35-143.us-east-2.compute.internal   Ready    <none>   18m   v1.14.8-eks          172.16.35.143   <none>         Amazon Linux 2   4.14.152-127.182.amzn2.x86_64   containerd://1.3.0
node/ip-172-16-4-166.us-east-2.compute.internal            Ready    <none>   63m   v1.14.7-eks-1861c5   172.16.4.166    52.15.125.83   Amazon Linux 2   4.14.146-119.123.amzn2.x86_64   docker://18.6.1
node/ip-172-16-40-206.us-east-2.compute.internal           Ready    <none>   63m   v1.14.7-eks-1861c5   172.16.40.206   3.14.3.148     Amazon Linux 2   4.14.146-119.123.amzn2.x86_64   docker://18.6.1

最後に

今回は手順上、省略していますが、aws cliを利用する場合、EKS が利用する IAM ロールを事前に作成したり、 CoreDNS に対するアップデートを個別に実施しました。このあたり、実は eksctl を利用すると上記の様な設定を自動的にしてくれます。とても便利です。ぜひ eksctl もお試しください！