背景
普段は現場のクローズドなEKSしか触っていなかったため、APIサーバのエンドポイントのパブリックアクセスなるものを知らなかった。
公式ドキュメントを読んでなんとなく理解したものの、実際の挙動が気になってしまったので動作検証してまとめてみた。
概要
| マネジメントコンソール上での名称 | パブリックアクセス | プライベートアクセス | 同一VPCからのアクセス | インターネット経由でのアクセス |
|---|---|---|---|---|
| パブリック | 有効 | 無効 | - | ◯ |
| パブリックおよびプライベート | 有効 | 有効 | ◯ | ◯ |
| プライベート | 無効 | 有効 | ◯ | - |
「パブリック」設定時の挙動
- EKSクラスターの作成時のデフォルトの設定
- VPC内の踏み台サーバやワーカノードからのコントロールプレーンへのアクセスはVPC外の通信となる
- 必要に応じてパブリックエンドポイントへのアクセスできるCIDRを設定可能
同じVPC上のサーバからアクセス
名前解決
EKSクラスターと同じVPCに立てたEKS管理サーバから、APIサーバのエンドポイントの名前解決をするとグローバルIPアドレスが返ってくる。つまり、コントロールプレーンへのリクエストはVPCを離れることになる。
[root@ip-192-168-0-50 ~]# nslookup XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Server: 192.168.0.2
Address: 192.168.0.2#53
Non-authoritative answer:
Name: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Address: グローバルIPアドレス①
Name: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Address: グローバルIPアドレス②
接続確認
[root@ip-192-168-0-50 ~]# k get ns
NAME STATUS AGE
default Active 18h
kube-node-lease Active 18h
kube-public Active 18h
kube-system Active 18h
CIDRブロックでアクセス制御
APIサーバのエンドポイントをパブリックにした場合、CIDRブロックでアクセス制御を設定する事ができる。デフォルトは「0.0.0.0/0」だが、任意のCIDRブロックからのアクセスだけを許可することも可能。 CIDRブロックのアクセス制御をした場合、範囲外のIPアドレスからAPIサーバへアクセスすると設定どおりブロックされる。
[root@ip-10-1-1-102 ~]# k get ns
E1229 02:55:17.693490 2657 memcache.go:265] couldn't get current server API group list: Get "https://XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com/api?timeout=32s": dial tcp XX.XX.XX.XX:443: i/o timeout
^C
なお、EKSクラスターに設定したセキュリティグループはVPC内の通信にのみ適用されるため、インバウンドルールに許可設定がなくともAPIサーバにアクセスする事ができる。
「パブリックおよびプライベート」設定時の挙動
- VPC内の踏み台サーバやワーカノードからのコントロールプレーンへのアクセスはVPC内の通信となる
- つまり、VPC内からAPIサーバへのアクセスはVPC内で完結するけど、インターネットからもアクセスできるよって設定
- こちらも必要に応じてパブリックエンドポイントへのアクセスできるCIDRを設定可能
同じVPC上のサーバからアクセス
名前解決
EKSクラスターと同じVPCに立てたEKS管理サーバから、APIサーバのエンドポイントの名前解決をするとクラスターを構築したVPC上のプライベートIPアドレスが解決される。
[root@ip-192-168-0-50 ~]# nslookup XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Server: 192.168.0.2
Address: 192.168.0.2#53
Non-authoritative answer:
Name: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Address: 192.168.0.110
Name: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Address: 192.168.2.137
接続確認
[root@ip-192-168-0-50 ~]# k get ns
NAME STATUS AGE
default Active 18h
kube-node-lease Active 18h
kube-public Active 18h
kube-system Active 18h
EKS管理サーバの通信はVPC間の通信となるため、EKSクラスターのセキュリティグループのインバウンドルールで許可をしないとタイムアウトとなってしまうので注意。
[root@ip-192-168-0-50 ~]# k get ns
Unable to connect to the server: dial tcp 192.168.0.110:443: i/o timeout
VPC外のEC2インスタンスからアクセス
名前解決
「パブリック」設定時と同じグローバルIPアドレスが返ってくる。
アクセスが許可されたCIDRブロック内のIPアドレスであれば、このインスタンスからもAPIサーバへアクセスすることができる。
[root@ip-10-1-1-102 ~]# nslookup XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Server: 10.1.1.2
Address: 10.1.1.2#53
Non-authoritative answer:
Name: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Address: グローバルIPアドレス①
Name: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Address: グローバルIPアドレス②
接続確認
[root@ip-10-1-1-102 ~]# k get ns
NAME STATUS AGE
default Active 18h
kube-node-lease Active 18h
kube-public Active 18h
kube-system Active 18h
この通信はVPC外からのアクセスになるので、EKSクラスターのセキュリティグループで許可されいなくても、アクセスが許可されたCIDRブロック内のIPアドレスであれば接続することができる。
「プライベート」設定時の挙動
- Kubernetes APIサーバへのアクセスはすべてVPC経由のアクセスに限定される。
同じVPC上のサーバからアクセス
名前解決
クラスターを構築したVPC上のプライベートIPアドレスが解決される。
[root@ip-192-168-0-50 ~]# nslookup XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Server: 192.168.0.2
Address: 192.168.0.2#53
Non-authoritative answer:
Name: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Address: 192.168.0.110
Name: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.gr7.ap-northeast-1.eks.amazonaws.com
Address: 192.168.2.137
接続確認
[root@ip-192-168-0-50 ~]# k get ns
NAME STATUS AGE
default Active 18h
kube-node-lease Active 18h
kube-public Active 18h
kube-system Active 18h
ちなみに、どの環境でこのエンドポイントの名前解決をした場合でも同じ回答が返ってきた。従って、別のVPC（相互接続していない）やインターネット経由でAPIサーバへアクセスすることは出来ない。
まとめ
- クローズドな環境であれば「プライベート」の設定で良さそう
- どうしても別のVPCやインターネット越しにコントロールプレーン(APIサーバ)へアクセスする必要がある場合は「パブリック」を設定する
- ただし、その場合は接続元のIPアドレスを限定するのが良さそう
- VPCの中からのリクエストなのか外からのリクエストなのかによって送信元を制御する方法が異なるので注意