環境
- ubuntu：22.0.4.1 LTS
- kubernetes：1.28.2
- calico 3.26
- Arista vEOS: 4.30.3M
現状こんな感じです。
※172.21.0.0/24は管理系ネットワーク、172.21.1.0/24はサービス系ネットワークを想定してます。
BGPの構成 - kubernetes
BGPConfigurationの作成
まずはkubernetesクラスターのBGPの設定をしていきます。
ここでおさらいです。
kubeadm実行時にPodSubnetとserviceSubnetは以下の通り設定しました。
- podSubnet: 192.168.0.0/16
- serviceSubnet: 192.16.0.0/12
この辺の情報を忘れてしまった場合は、以下のコマンドで確認できます。
kubectl -n kube-system get cm kubeadm-config -o yaml
出力例
networking:
dnsDomain: example.local
podSubnet: 192.168.0.0/16
serviceSubnet: 192.16.0.0/12
それでは上記の情報を基に、BGPConfigurationファイルを作成していきます。
~/bgpconfig.yaml
apiVersion: projectcalico.org/v3
kind: BGPConfiguration
metadata:
name: default
spec:
logSeverityScreen: Info
nodeToNodeMeshEnabled: true
nodeMeshMaxRestartTime: 120s
asNumber: 65535
serviceClusterIPs:
- cidr: 192.16.0.0/12
listenPort: 178
bindMode: None
communities:
- name: bgp-large-community
value: 65535:300:100
prefixAdvertisements:
- cidr: 192.168.0.0/16
communities:
- bgp-large-community
- 65535:120
これでBGPConfigurationが作成できました。それでは'apply`していきますが、その前にBGPのステータスについて確認してみます。
BGP status
この時点でのBGPのステータスを確認してみます。前回導入したcalicoctlを使用します。
control-plane-node
# sudo kubectl calico node status
Calico process is running.
IPv4 BGP status
+--------------+-------------------+-------+----------+-------------+
| PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO |
+--------------+-------------------+-------+----------+-------------+
| 172.21.0.18 | node-to-node mesh | up | 09:06:42 | Established |
+--------------+-------------------+-------+----------+-------------+
IPv6 BGP status
No IPv6 peers found.
worker-node
# sudo kubectl calico node status
Calico process is running.
IPv4 BGP status
+--------------+-------------------+-------+----------+-------------+
| PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO |
+--------------+-------------------+-------+----------+-------------+
| 172.21.0.8 | node-to-node mesh | up | 11:13:34 | Established |
+--------------+-------------------+-------+----------+-------------+
IPv6 BGP status
No IPv6 peers found.
この時点で、コントロールプレーンノードよワーカーノードはBGPネイバーを確立してます。
BGPConfigurationの作成
それではBGPConfigurationを作成していきます。
# kubectl apply -f bgpconfig.yaml
bgpconfiguration.projectcalico.org/default created
確認 - BGPConfiguration
# kubectl describe BGPConfiguration default
Name: default
Namespace:
Labels: <none>
Annotations: <none>
API Version: projectcalico.org/v3
Kind: BGPConfiguration
Metadata:
Creation Timestamp: 2023-11-12T07:26:50Z
Resource Version: 197599
UID: 68535937-a7b9-4fea-8bf9-888d027706ea
Spec:
As Number: 65535
Bind Mode: None
Communities:
Name: bgp-large-community
Value: 65535:300:100
Listen Port: 178
Log Severity Screen: Info
Node Mesh Max Restart Time: 2m0s
Node To Node Mesh Enabled: true
Prefix Advertisements:
Cidr: 192.168.0.0/16
Communities:
bgp-large-community
65535:120
Service Cluster I Ps:
Cidr: 192.16.0.0/12
Events: <none>
グローバルBGPPeer
クラスター内のすべてのノードに適用する場合、グローバルBGPPeerを作成します。今回は、以下のBGPPeerを作成します。
~/bgppeer-global.yaml
apiVersion: projectcalico.org/v3
kind: BGPPeer
metadata:
name: global-peer
spec:
peerIP: 172.21.1.254
asNumber: 65535
これでBGPPeerが作成できました。それでは'apply'してみます。
# kubectl apply -f peer/bgppeer-global.yaml
bgppeer.projectcalico.org/global-peer created
確認 - BGPPeer
# kubectl describe BGPPeer global-peer
Name: global-peer
Namespace:
Labels: <none>
Annotations: <none>
API Version: projectcalico.org/v3
Kind: BGPPeer
Metadata:
Creation Timestamp: 2023-11-12T07:33:08Z
Resource Version: 198408
UID: ea783cb6-5bdb-4b42-9022-835b719a7262
Spec:
As Number: 65535
Peer IP: 172.21.1.254
Events: <none>
BGPの構成 - Arista SW
ハードウェアスイッチの設定
今回は、物理ではなく仮想上にArista SWをデプロイしてBGPをしゃべらせてみます。
Arista側の設定（抜粋）は以下の通りです。
running-configuration
# show running-config
vlan 3002
!
vrf instance management
rd 10:1
!
interface Ethernet1
switchport access vlan 3002
!
interface Loopback0
ip address 1.1.1.1/32
!
interface Loopback1
vrf management
ip address 2.2.2.2/32
!
interface Management1
vrf management
ip address 172.21.0.30/24
!
interface Vlan3002
ip address 172.21.1.254/24
!
ip routing
ip routing vrf management
!
ip route vrf management 0.0.0.0/0 172.21.0.254
!
router bgp 65535
neighbor 172.21.1.8 remote-as 65535
neighbor 172.21.1.18 remote-as 65535
address-family ipv4
neighbor 172.21.1.8 activate
neighbor 172.21.1.18 activate
!
BGP確認
ノードステータス
まずはコントロールプレーンノードとワーカーノードでステータスを確認してみます。
control-plane-node
# sudo kubectl calico node status
Calico process is running.
IPv4 BGP status
+--------------+-------------------+-------+----------+-------------+
| PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO |
+--------------+-------------------+-------+----------+-------------+
| 172.21.0.18 | node-to-node mesh | up | 07:27:41 | Established |
| 172.21.1.254 | global | up | 07:33:10 | Established |
+--------------+-------------------+-------+----------+-------------+
IPv6 BGP status
No IPv6 peers found.
worker-node
sudo kubectl calico node status
Calico process is running.
IPv4 BGP status
+--------------+-------------------+-------+----------+-------------+
| PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO |
+--------------+-------------------+-------+----------+-------------+
| 172.21.0.8 | node-to-node mesh | up | 07:27:41 | Established |
| 172.21.1.254 | global | up | 07:33:10 | Established |
+--------------+-------------------+-------+----------+-------------+
IPv6 BGP status
No IPv6 peers found.
どうやらハードウェアスイッチとネイバーを確立できてそうです。
それではハードウェアスイッチ側でステータスを確認してみます。
スイッチステータス
Arista-Switch
# show ip bgp summary
BGP summary information for VRF default
Router identifier 1.1.1.1, local AS number 65535
Neighbor Status Codes: m - Under maintenance
Neighbor V AS MsgRcvd MsgSent InQ OutQ Up/Down State PfxRcd PfxAcc
172.21.1.8 4 65535 16 15 0 0 00:09:28 Estab 3 3
172.21.1.18 4 65535 16 15 0 0 00:09:26 Estab 3 3
#
# show ip route
VRF: default
Codes: C - connected, S - static, K - kernel,
O - OSPF, IA - OSPF inter area, E1 - OSPF external type 1,
E2 - OSPF external type 2, N1 - OSPF NSSA external type 1,
N2 - OSPF NSSA external type2, B - Other BGP Routes,
B I - iBGP, B E - eBGP, R - RIP, I L1 - IS-IS level 1,
I L2 - IS-IS level 2, O3 - OSPFv3, A B - BGP Aggregate,
A O - OSPF Summary, NG - Nexthop Group Static Route,
V - VXLAN Control Service, M - Martian,
DH - DHCP client installed default route,
DP - Dynamic Policy Route, L - VRF Leaked,
G - gRIBI, RC - Route Cache Route,
CL - CBF Leaked Route
Gateway of last resort:
S 0.0.0.0/0 [1/0] via 100.64.1.1, Ethernet2
C 1.1.1.1/32 is directly connected, Loopback0
C 100.64.0.0/22 is directly connected, Ethernet2
C 172.21.1.0/24 is directly connected, Vlan3002
B I 192.16.0.0/12 [200/0] via 172.21.1.8, Vlan3002
B I 192.168.170.0/24 [200/0] via 172.21.1.8, Vlan3002
B I 192.168.181.0/24 [200/0] via 172.21.1.18, Vlan3002
B I 192.168.255.224/27 [200/0] via 100.64.1.1, Ethernet2
いろいろBGPでルート情報がもらえてそうです。
Pod/Service情報
最後にPodとServiceのアドレスを改めて確認してみます。
# kubectl get pods -owide -A | grep kube-worker-001
calico-apiserver calico-apiserver-677cc474fc-56fbw 1/1 Running 0 131m 192.168.181.2 kube-worker-001 <none> <none>
calico-apiserver calico-apiserver-677cc474fc-njhjh 1/1 Running 0 131m 192.168.181.4 kube-worker-001 <none> <none>
calico-system calico-kube-controllers-7b49bd7c6f-6swpt 1/1 Running 0 131m 192.168.181.3 kube-worker-001 <none> <none>
calico-system calico-node-4gfsc 1/1 Running 0 22m 172.21.0.18 kube-worker-001 <none> <none>
calico-system calico-typha-97ddcffd7-j9t6d 1/1 Running 0 131m 172.21.0.18 kube-worker-001 <none> <none>
calico-system csi-node-driver-clm6k 2/2 Running 0 131m 192.168.181.5 kube-worker-001 <none> <none>
kube-system coredns-5dd5756b68-7v6jr 1/1 Running 0 28h 192.168.45.65 kube-worker-001 <none> <none>
kube-system coredns-5dd5756b68-rmnk2 1/1 Running 0 28h 192.168.45.66 kube-worker-001 <none> <none>
kube-system kube-proxy-ps64z 1/1 Running 1 28h 172.21.0.18 kube-worker-001 <none> <none>
tigera-operator tigera-operator-597bf4ddf6-ndr6p 1/1 Running 14 (3h26m ago) 5h13m 172.21.0.18 kube-worker-001 <none> <none>
# kubectl get pods -owide -A | grep kube-controlplane-001
calico-system calico-node-t8877 1/1 Running 0 23m 172.21.0.8 kube-controlplane-001 <none> <none>
calico-system csi-node-driver-b7bp8 2/2 Running 0 131m 192.168.170.3 kube-controlplane-001 <none> <none>
kube-system etcd-kube-controlplane-001 1/1 Running 8 28h 172.21.0.8 kube-controlplane-001 <none> <none>
kube-system kube-apiserver-kube-controlplane-001 1/1 Running 8 28h 172.21.0.8 kube-controlplane-001 <none> <none>
kube-system kube-controller-manager-kube-controlplane-001 1/1 Running 8 28h 172.21.0.8 kube-controlplane-001 <none> <none>
kube-system kube-proxy-smd86 1/1 Running 0 28h 172.21.0.8 kube-controlplane-001 <none> <none>
kube-system kube-scheduler-kube-controlplane-001 1/1 Running 9 28h 172.21.0.8 kube-controlplane-001 <none> <none>
# kubectl get svc -A -owide
NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
calico-apiserver calico-api ClusterIP 192.21.101.85 <none> 443/TCP 135m apiserver=true
calico-system calico-kube-controllers-metrics ClusterIP None <none> 9094/TCP 135m k8s-app=calico-kube-controllers
calico-system calico-typha ClusterIP 192.19.24.252 <none> 5473/TCP 135m k8s-app=calico-typha
default kubernetes ClusterIP 192.16.0.1 <none> 443/TCP 28h <none>
kube-system kube-dns ClusterIP 192.16.0.10 <none> 53/UDP,53/TCP,9153/TCP 28h k8s-app=kube-dns
core-dnsだけ/32でルート情報をもらってます。
おそらくCalicoを導入する前からあるPodは/32でルートが伝わってくるっぽいです。ここでcorednsを削除してみます。
# kubectl delete pods -n kube-system coredns-5dd5756b68-7v6jr
pod "coredns-5dd5756b68-7v6jr" deleted
# kubectl delete pods -n kube-system coredns-5dd5756b68-rmnk2
pod "coredns-5dd5756b68-rmnk2" deleted
# kubectl get pods -n kube-system -owide | grep coredns
coredns-5dd5756b68-cdtfh 1/1 Running 0 116s 192.168.181.6 kube-worker-001 <none> <none>
coredns-5dd5756b68-w448v 1/1 Running 0 2m56s 192.168.170.4 kube-controlplane-001 <none> <none>
アドレス帯もそれっぽいアドレスになりました。
もう一度Arista SWでルーティングテーブルを確認してみます。
show ip route vrf management
VRF: management
Codes: C - connected, S - static, K - kernel,
O - OSPF, IA - OSPF inter area, E1 - OSPF external type 1,
E2 - OSPF external type 2, N1 - OSPF NSSA external type 1,
N2 - OSPF NSSA external type2, B - Other BGP Routes,
B I - iBGP, B E - eBGP, R - RIP, I L1 - IS-IS level 1,
I L2 - IS-IS level 2, O3 - OSPFv3, A B - BGP Aggregate,
A O - OSPF Summary, NG - Nexthop Group Static Route,
V - VXLAN Control Service, M - Martian,
DH - DHCP client installed default route,
DP - Dynamic Policy Route, L - VRF Leaked,
G - gRIBI, RC - Route Cache Route,
CL - CBF Leaked Route
Gateway of last resort:
S 0.0.0.0/0 [1/0] via 172.21.0.254, Management1
C 2.2.2.2/32 is directly connected, Loopback1
C 172.21.0.0/24 is directly connected, Management1
B I 192.16.0.0/12 [200/0] via 172.21.0.8, Management1
B I 192.168.170.0/24 [200/0] via 172.21.0.8, Management1
B I 192.168.181.0/24 [200/0] via 172.21.0.18, Management1
これできれいになりました。
Podの作成
最後にそれぞれのノードにPodをデプロイしてみます。
その前に、コントロールプレーンノードにもPodをデプロイできるように、'Taints'を削除しておきます。
control-plane-node
# kubectl taint nodes kube-controlplane-001 node-role.kubernetes.io/control-plane:NoSchedule-
node/kube-controlplane-001 untainted
# kubectl describe node kube-controlplane-001 | grep Taints
Taints: <none>
それでは、Affinityを使用して、コントロールプレーンノード、ワーカーノードにそれぞれPodをデプロイします。サンプルのyamlファイルです。
~/sample.yaml
apiVersion: v1
kind: Pod
metadata:
name: test-1
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- kube-controlplane-001
containers:
- name: test-1
image: busybox
imagePullPolicy: IfNotPresent
args:
- sleep
- "10000"
ワーカーノードにデプロイするには、「matchExpressions」内のvaluesの値をワーカーノードの名前にする。
デプロイ結果は以下の通り。（ワーカーノードには2つPodを作成してます。）
# kubectl get pods -owide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
test-1 1/1 Running 0 8s 192.168.170.5 kube-controlplane-001 <none> <none>
test-2-1 1/1 Running 0 8s 192.168.181.7 kube-worker-001 <none> <none>
test-2-2 1/1 Running 0 7s 192.168.181.8 kube-worker-001 <none> <none>
おそらく192.168.170.0/24がコントロールプレーンノード、192.168.181.0/24がワーカーノードのPodネットワークってことですね。つまり、図示するとこんな感じ。
なんとなーくわかってきました。
今回は以上です。
今度Service周りについて確認しようと思ます。