What's This
EKSにおいて、Podに対してSGを適用する場合、いくつか準備が必要です。
設計前、作業前に知っておくと、検証がスイスイ進むのではないかという内容です。
簡易なメモです。
ノードにt3系は使用できない
ドキュメントにある通り、Pod単位でSGを適用したい場合には、ノードにt3系は使用できないです。
pods のセキュリティグループは、m5、c5、r5、p3、m6g、c6g、および r6g インスタンスファミリーを含む、ほとんどの Nitro ベースの Amazon EC2 インスタンスファミリーでサポートされています。t3 インスタンスファミリーはサポートされていません。サポートされているインスタンスの詳細なリストについては、GitHub で「limits.go」ファイルを参照してください。ノードは、そのファイルで一覧表示されているインスタンスタイプのうち、IsTrunkingCompatible: true を含むものである必要があります。
以下limits.goでIsTrunkingCompatibleがtrueになっているc5.largeに変更して再度検証したところ、適用できました。
https://github.com/aws/amazon-vpc-resource-controller-k8s/blob/master/pkg/aws/vpc/limits.go
ちなみに、サポートされていないファミリー(a1.medium)で適用するとこんなエラーが出ます。
│ Error: error creating EKS Node Group (`cluster名前`:`Node Group 名前`): InvalidParameterException: [a1.medium] is not a valid instance type for requested amiType `hogehoge`
│ {
│ RespMetadata: {
│ StatusCode: 400,
│ RequestID: "`hogehoge`"
│ },
│ ClusterName: "`cluster名前`",
│ Message_: "[a1.medium] is not a valid instance type for requested amiType `hogehoge`",
│ NodegroupName: "`Node Group 名前`"
│ }
│
検証が結構進んだ段階でこれを知った場合、今更ノードのタイプを変更したくないなあ…ということもあるのではないかと思い、記しました。
まあただ、t3系を本番で運用することもあんまりないのかなとは思いますが…
CNI プラグインを有効にする必要がある
CNIのバージョンは1.7.7以降である必要がある
次のコマンドで、現在の Amazon VPC CNI plugin for Kubernetes のバージョンを確認します。
kubectl describe daemonset aws-node --namespace kube-system | grep amazon-k8s-cni: | cut -d : -f 3
出力例を次に示します。
v1.7.6
Amazon VPC CNI plugin for Kubernetes バージョンが 1.7.7 より前の場合は、プラグインを 1.7.7 以降に更新してください。詳細については、「Amazon VPC CNI plugin for Kubernetes アドオンの更新」を参照してください。
CNI Amazon VPC CNI アドオンを有効にする
Amazon VPC CNI アドオンを有効にして pods のネットワークインターフェイスを管理するには、aws-node DaemonSet で ENABLE_POD_ENI 変数を true に設定します。この設定が true になると、クラスター内の各ノードについて、アドオンで値が vpc.amazonaws.com/has-trunk-attached=true のラベルが追加されます。VPC リソースコントローラーは、1 つの特別なネットワークインターフェイスを作成してアタッチします。これは、トランクネットワークインターフェイスと呼ばれ、説明は aws-k8s-trunk-eni です。
kubectl set env daemonset aws-node -n kube-system ENABLE_POD_ENI=true
自分はterraformで以下のようにラベル付けを行いました。
labels = {
"vpc.amazonaws.com/has-trunk-attached" = "true"
}
が、環境によってはコマンドベースでやった方が確実かもしれません。
kubectl set env daemonset aws-node -n kube-system ENABLE_POD_ENI=true
確認
kubectl describe daemonset -n kube-system aws-node | grep ENABLE_POD_ENI
ENABLE_POD_ENI: true（なら有効）
EKSクラスターのIAMロールに AmazonEKSVPCResourceController マネージドポリシーを追加する必要がある
pod のセキュリティポリシーを使用して pod 変更へのアクセスを制限している場合は、eks-vpc-resource-controller および vpc-resource-controller Kubernetes サービスアカウントは、psp が割り当てられた role に対して Kubernetes ClusterRoleBinding で指定する必要があります。デフォルトの Amazon EKS の psp、role、および ClusterRoleBinding を使用している場合、これは eks:podsecuritypolicy:authenticated ClusterRoleBinding です。例えば、次の例に示すように、サービスアカウントをセクション subjects: に追加します。
まあこれは元々ついてた、ということもあるかと思いますので、改めて追加することもあんまりないのかなとは思いますが、一応。
Reference
・https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/security-groups-for-pods.html
・https://www.grugrut.net/posts/202107250958/
参考にさせていただきました。ありがとうございます。