はじめに
昨今、BGP Unnumberedを使用して、CLOS Fabricを構築する例がよく紹介されていますが、
その上にVxLANも構築できたらアンダーレイの設計が楽になるのでいいなと思っていましたが、
正式に NXOS 10.2(3) よりサポートとなったため試してみました。
また、Cisco Liveで紹介されていた、gNMIによる可視化をやってみました。
詳細は後日別記事予定で今回はOutputのみを紹介します。
（注意）この試験は簡単な機能確認のみで、すべての機能の確認をしているわけではありませんのでご注意ください。
Configも余計なものも含まれているかもしれませんが、ご容赦を・・・
使用機材
Nexus 93180YC-FX
NxOS 10.4.1
構成：
以下のようにシンプルな構成で試してみました。
IPV4アドレスは、Loopback0にのみ使用しています。
アンダーレイの設定：
Hostname LEAF201
feature bgp
route-map ALL permit 10
interface loopback0
ip address 10.255.255.201/32
interface Ethernet1/53
no switchport
ip forward
ipv6 address use-link-local-only
no shutdown
router bgp 65201
router-id 10.255.255.201
address-familiy ipv4 unicast
redistribute direct route-map ALL
neighbor Ethernet1/53
remote-as external
address-family ipv4 unicast
address-family ipv6 unicast
hostname LEAF202
feature bgp
route-map ALL permit 10
interface loopback0
ip address 10.255.255.202/32
interface Ethernet1/53
no switchport
ip forward
ipv6 address use-link-local-only
no shutdown
router bgp 65202
router-id 10.255.255.202
address-familiy ipv4 unicast
redistribute direct route-map ALL
neighbor Ethernet1/53
remote-as external
address-family ipv4 unicast
address-family ipv6 unicast
hostname SPINE101
feature bgp
route-map ALL permit 10
interface loopback0
ip address 10.255.255.101/32
interface Ethernet1/53
no switchport
ip forward
ipv6 address use-link-local-only
no shutdown
interface Ethernet1/54
no switchport
ip forward
ipv6 address use-link-local-only
no shutdown
router bgp 65101
router-id 10.255.255.101
address-familiy ipv4 unicast
redistribute direct route-map ALL
neighbor Ethernet1/53
remote-as external
address-family ipv4 unicast
address-family ipv6 unicast
neighbor Ethernet1/54
remote-as external
address-family ipv4 unicast
address-family ipv6 unicast
設定が完了すると、BGPのネイバーが、IPV6 Link Local Addressを使って確立していることが
確認できます。また、IPv4 LoopbakIPが広報されていて、NHが、IPv６になっていることが確認できます。
SPINE101# sh ip bgp summary
BGP summary information for VRF default, address family IPv4 Unicast
BGP router identifier 10.255.255.101, local AS number 65101
BGP table version is 6, IPv4 Unicast config peers 2, capable peers 2
3 network entries and 3 paths using 876 bytes of memory
BGP attribute entries [3/1080], BGP AS path entries [2/12]
BGP community entries [0/0], BGP clusterlist entries [0/0]
Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
fe80::3a0e:4dff:febc:f897%Ethernet1/54
4 65202 249 248 6 0 0 03:59:35 1
fe80::3a90:a5ff:fe25:e67b%Ethernet1/53
4 65201 249 248 6 0 0 03:59:23 1
SPINE101# sh ip bgp
BGP routing table information for VRF default, address family IPv4 Unicast
BGP table version is 6, Local Router ID is 10.255.255.101
Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-injected
Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup, 2 - best2
Network Next Hop Metric LocPrf Weight Path
*>r10.255.255.101/32 0.0.0.0 0 100 32768 ?
*>e10.255.255.201/32 fe80::3a90:a5ff:fe25:e67b
0 0 65201 ?
*>e10.255.255.202/32 fe80::3a0e:4dff:febc:f897
0 0 65202 ?
アンダーレイが完成したところで、VxLAN EVPNの設定を追加します。
追加Config：
LEAF201 , LEAF202
nv overlay evpn
feature interface-vlan
feature vn-segment-vlan-based
feature nv overlay
vlan 1,100
vlan 100
vn-segment 10100
interface nve1
no shutdown
host-reachability protocol bgp
source-interface loopback0
member vni 10100
ingress-replication protocol bgp
router bgp 65201
neighbor 10.255.255.101
remote-as external
update-source loopback0
ebgp-multihop 2
address-family l2vpn evpn
send-community
send-community extended
rewrite-evpn-rt-asn
evpn
vni 10100 l2
rd auto
route-target import auto
route-target export auto
interface Ethernet1/1
switchport
switchport access vlan 100
no shutdown
SPINE101
nv overlay evpn
route-map UNCHANGED permit 10
set ip next-hop unchanged
router bgp 65101
address-family l2vpn evpn
retain route-target all
neighbor 10.255.255.201
remote-as external
update-source loopback0
ebgp-multihop 2
address-family l2vpn evpn
disable-peer-as-check
send-community
send-community extended
route-map UNCHANGED out
rewrite-evpn-rt-asn
neighbor 10.255.255.202
remote-as external
update-source loopback0
ebgp-multihop 2
address-family l2vpn evpn
disable-peer-as-check
send-community
send-community extended
route-map UNCHANGED out
rewrite-evpn-rt-asn
この状態で、LEAF201で、EVPNの状況を確認します。
SPINEから、EVPNの情報をもらっていることが確認できます。
MACアドレステーブルでも、自身のEth1/1に接続されるMACと、VxLAN経由で学習したMACを
確認することができます。
LEAF201# sh bgp l2vpn evpn summary
BGP summary information for VRF default, address family L2VPN EVPN
BGP router identifier 10.255.255.201, local AS number 65201
BGP table version is 48, L2VPN EVPN config peers 1, capable peers 1
6 network entries and 6 paths using 1560 bytes of memory
BGP attribute entries [5/1800], BGP AS path entries [1/10]
BGP community entries [0/0], BGP clusterlist entries [0/0]
Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
10.255.255.101 4 65101 9390 9386 48 0 0 23:48:03 2
Neighbor T AS PfxRcd Type-2 Type-3 Type-4 Type-5 Type-12
10.255.255.101 I 65101 2 1 1 0 0 0
LEAF201# sh mac address-table
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link,
(T) - True, (F) - False, C - ControlPlane MAC, ~ - vsan,
(NA)- Not Applicable A – ESI Active Path, S – ESI Standby Path
VLAN MAC Address Type age Secure NTFY Ports
---------+-----------------+--------+---------+------+----+------------------
C 100 10b3.d568.ed8f dynamic NA F F nve1(10.255.255.202)
* 100 cc16.7eef.f518 dynamic NA F F Eth1/1
G - 3890.a525.e67b static - F F sup-eth1(R)
こちらで簡単ですが、構築が終わりまして、ここからgNMIの可視化をしていきます。
[シスコライブの資料]： https://www.ciscolive.com/c/dam/r/ciscolive/global-event/docs/2023/pdf/BRKDCN-2689.pdf
こちらの手順に従って、設定を入れていきます。詳細は別途記事を各予定です。
スイッチ側には以下の設定を入れるだけです。
username telemetry password SuperSecretPassword
username telemetry role network-admin
feature grpc
feature openconfig
crypto ca trustpoint gnmi_trustpoint
crypto ca import gnmi_trustpoint pkcs12 bootflash:gnmi.pfx cisco123
grpc certificate gnmi_trustpoint
Dockerが動作しているLinux(ラボはubuntu22.04)で、Ciscoが提供しているコレクターをインストール。
その結果、以下のような感じでSWステータス情報、VxLANの状態を可視化することができます。
ダッシュボードはいくつか用いされており、キャパシティ情報をみることや、Host Table情報を表示することができます。
キャパシティ情報：
ARP,MACテーブル
最近JanogでもgNMIのテレメトリの話が出てきていますが、もっと活用事例を増やしたいですね。