概要

OCI Container Engine for Kubernetes (OKE)のkube-dns(CoreDNS)についてVCN内リソースの名前解決と異なるnamespace内リソースの名前解決について各設定を確認しました。

構成

OKEのCNIはFlannelを使用してます。また仮想クラスタのオプションもありますが今回は標準クラスタの構成を使用しました。

OKE内PodからVCNリソースのMySQL DBへのアクセス
OKE内Podから異なるnamespace内リソースの名前解決

OKE内PodからVCNリソースのMySQL DBへのアクセス

各コンポーネントでどのように動いているか確認します。

Podは/etc/resolv.confに設定されたnameserverに問合せします。
このnameserver(10.96.5.5)はkube-dnsです。

user@ubuntu:~# cat /etc/resolv.conf
search mgmt.svc.cluster.local svc.cluster.local cluster.local sydvcn1010500.oraclevcn.com sydsub10105650.sydvcn1010500.oraclevcn.com
nameserver 10.96.5.5
options ndots:5

Svc kube-dns(10.96.5.5)のEndpointsはCoreDNS(10.244.0.14)です。

[user@linux]$ kubectl describe service/kube-dns -n kube-system
Name:              kube-dns
Namespace:         kube-system
Labels:            k8s-app=kube-dns
                   kubernetes.io/cluster-service=true
                   kubernetes.io/name=CoreDNS
Annotations:       <none>
Selector:          k8s-app=kube-dns
Type:              ClusterIP
IP Family Policy:  SingleStack
IP Families:       IPv4
IP:                10.96.5.5
IPs:               10.96.5.5
Port:              dns  53/UDP
TargetPort:        53/UDP
Endpoints:         10.244.0.14:53
Port:              dns-tcp  53/TCP
TargetPort:        53/TCP
Endpoints:         10.244.0.14:53
Port:              metrics  9153/TCP
TargetPort:        9153/TCP
Endpoints:         10.244.0.14:9153
Session Affinity:  None
Events:            <none>

CoreDNS(10.244.0.14)のPod内容です。

NAMESPACE                          NAME                                             READY   STATUS      RESTARTS        AGE     IP              NODE            NOMINATED NODE   READINESS GATES
kube-system                        coredns-76d9448ddc-bm4l7                         1/1     Running     3               62d     10.244.0.14     10.105.65.182   <none>           <none>

自ドメイン外の名前解決はforwardに設定された/etc/resolv.confを参照します。

[user@linux]$ kubectl describe configmaps coredns -n kube-system
Name:         coredns
Namespace:    kube-system
Labels:       <none>
Annotations:  <none>

Data
====
Corefile:
----
.:53 {
  errors
  health {
    lameduck 5s
  }
  ready
  kubernetes cluster.local in-addr.arpa ip6.arpa {
    pods insecure
    fallthrough in-addr.arpa ip6.arpa
  }
  prometheus :9153
  forward . /etc/resolv.conf
  cache 30
  loop
  reload
  loadbalance
}
import custom/*.server

BinaryData
====

Events:  <none>

/etc/resolv.confはworker nodeの設定を参照します。以下のようにOCIのDNS(169.254.169.254)を指しています。

[user@workernode ~]$ cat /etc/resolv.conf
; Any changes made to this file will be overwritten whenever the
; DHCP lease is renewed. To persist changes you must update the
; /etc/oci-hostname.conf file. For more information see
;[https://docs.cloud.oracle.com/iaas/Content/Network/Tasks/managingDHCP.htm#notes]
;
# Generated by NetworkManager
search sydvcn1010500.oraclevcn.com sydsub10105650.sydvcn1010500.oraclevcn.com
nameserver 169.254.169.254

参照先のDNSでは以下のようにAレコードが登録されています。
以上の結果、Podからはkube-dns→CoreDNS→OCI DNSを経由してMySQL DBの名前解決を行うことによりアクセスが可能となります。

user@ubuntu:~# mysql -h mysql01.sydsub1010520.sydvcn1010500.oraclevcn.com -P 3306 -u admin -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 66
Server version: 8.0.34-u3-cloud MySQL Enterprise - Cloud

Copyright (c) 2000, 2023, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

ExternalName Serviceを使用することによってFQDNを使用せずアクセスすることが可能です。
以下のようにPodと同じnamespaceでsvc ext-mysql01を設定しFQDNとしてMySQL DBを指定します。

apiVersion: v1
kind: Service
metadata:
  name: ext-mysql01
  namespace: mgmt
spec:
  type: ExternalName
  externalName: mysql01.sydsub1010520.sydvcn1010500.oraclevcn.com

apply後、kubectl get svcで登録されたことを確認します。

NAMESPACE                          NAME                                 TYPE           CLUSTER-IP      EXTERNAL-IP                                         PORT(S)
mgmt                               ext-custaweb-svc                     ExternalName   <none>          custaweb-svc.custa.svc.cluster.local                <none>

ExternalName Serviceを設定することによりアクセス先のFQDNやIPアドレスが変わってもアプリケーションの変更を抑えることが可能です。

user@ubuntu:~# mysql -h ext-mysql01 -P 3306 -u admin -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 74
Server version: 8.0.34-u3-cloud MySQL Enterprise - Cloud

Copyright (c) 2000, 2023, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

OKE内Podから異なるnamespace内リソースの名前解決

Podからはkube-dns→CoreDNSを経由して異なるnamespace内リソースの名前解決を行うことによりアクセスが可能となります。
FQDNはサービス名.namespace名.svc.cluster.localとなります。

user@ubuntu:~# curl -I http://custaweb-svc.custa.svc.cluster.local:8092
HTTP/1.1 200 OK

異なるnamespace内リソースの名前解決においてもExternalName Serviceを使用することによってFQDNを使用せずアクセスすることが可能です。

apiVersion: v1
kind: Service
metadata:
  name: ext-custaweb-svc
  namespace: mgmt
spec:
  type: ExternalName
  externalName: custaweb-svc.custa.svc.cluster.local

apply後、kubectl get svcで登録されたことを確認します。

NAMESPACE                          NAME                                 TYPE           CLUSTER-IP      EXTERNAL-IP                                         PORT(S)
mgmt                               ext-custaweb-svc                     ExternalName   <none>          custaweb-svc.custa.svc.cluster.local

ExternalNameを使用したアクセス結果です。

user@ubuntu:~# curl -I http://ext-custaweb-svc:8092
HTTP/1.1 200 OK