0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

containerlabでネットワークを学ぶ #2

0
Posted at

はじめに

前回は containerlab に慣れることを目的に,SR Linux を4台使ったリングトポロジで OSPF を動かしました.
今回は Leaf-Spine 構成の基本形を組みます.underlay を eBGP で組み,その上に EVPN/VXLAN で overlay を乗せ,2台のサーバを同一の L2 セグメントに置きます.

最終的に以下がすべて動きました.

  • Leaf-Spine ファブリック(spine 2台 + leaf 2台 + サーバ 2台)
  • eBGP による underlay と両 spine を使った ECMP 負荷分散
  • EVPN/VXLAN による overlay
  • パケットが VXLAN でカプセル化されて運ばれていることの確認

環境は前回と同じ WSL2 (Ubuntu 24.04) + Docker + containerlab v0.77.0で,NOS は Nokia SR Linux です.

Leaf-Spineとは

サーバを収容する Leaf(葉) スイッチと,Leaf を束ねる Spine(背骨) スイッチの2階層でネットワークを組む設計を Leaf-Spine と呼びます.特徴は以下.

  • すべての Leaf がすべての Spine に接続する(フルメッシュ)
  • Leaf 同士は直接繋がない,Spine 同士も繋がない
  • どのサーバ間の通信も,必ず Leaf → Spine → Leaf の同ホップ数になる
  • 帯域が足りなくなったら Spine を足せばよく,横に広げやすいらしい

全体構成

今回組んだのは以下の構成です.AS 番号はかなりてきとうに決めています.

ノード 役割 AS番号 ループバック (system0)
spine1 Spine 65000 10.0.0.101/32
spine2 Spine 65000 10.0.0.102/32
leaf1 Leaf / VTEP 64512 10.0.0.1/32
leaf2 Leaf / VTEP 65413 10.0.0.2/32
srv1 サーバ — 192.168.100.10/24
srv2 サーバ — 192.168.100.11/24

スクリーンショット 2026-07-31 094213.png

リンクとIPアドレス

Leaf-Spine 間はすべて /30 のポイントツーポイントリンクです.第3オクテットを「spine番号 + leaf番号」にしています.

リンク spine側 leaf側
spine1 ─ leaf1 192.168.11.1/30 192.168.11.2/30
spine1 ─ leaf2 192.168.12.1/30 192.168.12.2/30
spine2 ─ leaf1 192.168.21.1/30 192.168.21.2/30
spine2 ─ leaf2 192.168.22.1/30 192.168.22.2/30

各ノードのインターフェース割り当ては以下のとおり.

  • spine: e1-1 が leaf1 向き、e1-2 が leaf2 向き
  • leaf: e1-1 が spine1 向き、e1-2 が spine2 向き,e1-3 がサーバ収容

AS設計

今回は spine 間でASを統一し,leaf 間ではASを分けました.

  • spine1,spine2 → AS 65000
  • leaf1 → AS 64512
  • leaf2 → AS 65413

RFC 7938 が示す DC の eBGP 設計で,現実でも広く使われている形だそう.AS 番号はすべてプライベート範囲(64512〜65534)に収めています.

BGP には「受け取った経路の AS_PATH に自分の AS 番号が含まれていたら破棄する」というループ防止動作があります.leaf 間でASを統一する構成(iBGP)はこれに引っかかります.

  1. leaf1(例:AS 65000)が 10.0.0.1/32 を spine1 にアドバタイズ → AS_PATH は [65000]
  2. spine1 が leaf2 へ転送 → AS_PATH に spine の AS が積まれる
  3. leaf2(例:AS 65000)が受信 → AS_PATH に自分の 65000 がいるため破棄

結果,leaf 同士が互いのループバックを学習できません.ループバックは VXLAN トンネルの終端(VTEP)アドレスになるので,到達できないとその先が全部成立しません.
allowas-in でループ判定を無効化すれば回避はできますが,めんどうです.
eBGP 設計ならこれを回避できます.

ECMPの成立しやすさにも差が出ます. 次のサブセクションで書きます.

Underlay を eBGP で組む

トポロジ定義(YAML)

name: lab03

topology:
  nodes:
    spine1:
      kind: nokia_srlinux
      image: ghcr.io/nokia/srlinux
      startup-config: configs/spine1.cfg
    spine2:
      kind: nokia_srlinux
      image: ghcr.io/nokia/srlinux
      startup-config: configs/spine2.cfg
    leaf1:
      kind: nokia_srlinux
      image: ghcr.io/nokia/srlinux
      startup-config: configs/leaf1.cfg
    leaf2:
      kind: nokia_srlinux
      image: ghcr.io/nokia/srlinux
      startup-config: configs/leaf2.cfg
    srv1:
      kind: linux
      image: ghcr.io/srl-labs/network-multitool
      exec:
        - ip addr add 192.168.100.10/24 dev eth1
    srv2:
      kind: linux
      image: ghcr.io/srl-labs/network-multitool
      exec:
        - ip addr add 192.168.100.11/24 dev eth1
  links:
    - endpoints: ["spine1:e1-1", "leaf1:e1-1"]
    - endpoints: ["spine1:e1-2", "leaf2:e1-1"]
    - endpoints: ["spine2:e1-1", "leaf1:e1-2"]
    - endpoints: ["spine2:e1-2", "leaf2:e1-2"]
    - endpoints: ["leaf1:e1-3", "srv1:eth1"]
    - endpoints: ["leaf2:e1-3", "srv2:eth1"]

前回からサーバノードが増えました.
kind: linux で指定している network-multitool は,ip,ping,traceroute,tcpdump などが最初から入っている Debian ベースの汎用コンテナです.

spine1 の設定

set / interface ethernet-1/1 admin-state enable
set / interface ethernet-1/1 subinterface 0 admin-state enable
set / interface ethernet-1/1 subinterface 0 ipv4 admin-state enable
set / interface ethernet-1/1 subinterface 0 ipv4 address 192.168.11.1/30
set / interface ethernet-1/2 admin-state enable
set / interface ethernet-1/2 subinterface 0 admin-state enable
set / interface ethernet-1/2 subinterface 0 ipv4 admin-state enable
set / interface ethernet-1/2 subinterface 0 ipv4 address 192.168.12.1/30
set / interface system0 admin-state enable
set / interface system0 subinterface 0 admin-state enable
set / interface system0 subinterface 0 ipv4 admin-state enable
set / interface system0 subinterface 0 ipv4 address 10.0.0.101/32

set / network-instance default interface ethernet-1/1.0
set / network-instance default interface ethernet-1/2.0
set / network-instance default interface system0.0

set / routing-policy policy accept-all default-action policy-result accept

set / network-instance default protocols bgp admin-state enable
set / network-instance default protocols bgp autonomous-system 65000
set / network-instance default protocols bgp router-id 10.0.0.101
set / network-instance default protocols bgp ebgp-default-policy import-reject-all false
set / network-instance default protocols bgp ebgp-default-policy export-reject-all false
set / network-instance default protocols bgp afi-safi ipv4-unicast admin-state enable
set / network-instance default protocols bgp group leaves admin-state enable
set / network-instance default protocols bgp group leaves export-policy [ accept-all ]
set / network-instance default protocols bgp group leaves import-policy [ accept-all ]
set / network-instance default protocols bgp neighbor 192.168.11.2 peer-as 64512
set / network-instance default protocols bgp neighbor 192.168.11.2 peer-group leaves
set / network-instance default protocols bgp neighbor 192.168.12.2 peer-as 65413
set / network-instance default protocols bgp neighbor 192.168.12.2 peer-group leaves

Spine2 は IP アドレス(192.168.21.1 / 192.168.22.1)と system0(10.0.0.102),router-id だけが違い,あとは同じです.

leaf1 の設定(underlay部分)

set / interface ethernet-1/1 admin-state enable
set / interface ethernet-1/1 subinterface 0 admin-state enable
set / interface ethernet-1/1 subinterface 0 ipv4 admin-state enable
set / interface ethernet-1/1 subinterface 0 ipv4 address 192.168.11.2/30
set / interface ethernet-1/2 admin-state enable
set / interface ethernet-1/2 subinterface 0 admin-state enable
set / interface ethernet-1/2 subinterface 0 ipv4 admin-state enable
set / interface ethernet-1/2 subinterface 0 ipv4 address 192.168.21.2/30
set / interface system0 admin-state enable
set / interface system0 subinterface 0 admin-state enable
set / interface system0 subinterface 0 ipv4 admin-state enable
set / interface system0 subinterface 0 ipv4 address 10.0.0.1/32

set / network-instance default interface ethernet-1/1.0
set / network-instance default interface ethernet-1/2.0
set / network-instance default interface system0.0

set / routing-policy policy accept-all default-action policy-result accept

set / network-instance default protocols bgp admin-state enable
set / network-instance default protocols bgp autonomous-system 64512
set / network-instance default protocols bgp router-id 10.0.0.1
set / network-instance default protocols bgp ebgp-default-policy import-reject-all false
set / network-instance default protocols bgp ebgp-default-policy export-reject-all false
set / network-instance default protocols bgp afi-safi ipv4-unicast admin-state enable
set / network-instance default protocols bgp afi-safi ipv4-unicast multipath ebgp maximum-paths 4
set / network-instance default protocols bgp group spines admin-state enable
set / network-instance default protocols bgp group spines export-policy [ accept-all ]
set / network-instance default protocols bgp group spines import-policy [ accept-all ]
set / network-instance default protocols bgp neighbor 192.168.11.1 peer-as 65000
set / network-instance default protocols bgp neighbor 192.168.11.1 peer-group spines
set / network-instance default protocols bgp neighbor 192.168.21.1 peer-as 65000
set / network-instance default protocols bgp neighbor 192.168.21.1 peer-group spines

Leaf2 は IP(192.168.12.2 / 192.168.22.2),system0(10.0.0.2),AS(65413)が違うだけです.

ECMP

Leaf 側に入れている以下の1行で ECMP を有効にしています.

set / network-instance default protocols bgp afi-safi ipv4-unicast multipath ebgp maximum-paths 4

上述した通り, 今回の AS 設計のおかげでECMPは簡単に設定できました.
BGP は multipath かどうかを判定するとき,AS_PATH が一致していることを条件にします.
Spine 間で AS を統一し,Leaf 間で AS を分けることで,Leaf → Spine → Leaf の経路でこの条件を満たせます.

allow-multiple-as true を追加設定する必要もなく,簡単に設定できました.

Underlayの動作確認

デプロイします.

cd ~/clab/lab03
clab deploy

leaf1 に入って BGP ピアを確認します.

show network-instance default protocols bgp neighbor

Spine1,Spine2 の両方が established になっていることを確認しました.
次に ECMP です.前回の OSPF と同じ手順で,RIB の統計と next-hop-group を見ます.

info from state network-instance default route-table ipv4-unicast statistics

active-routes-with-ecmp が 2 になっていました.next-hop-group の中身も確認します.

info from state network-instance default route-table next-hop-group 433673544
    backup-next-hop-group 0
    backup-active false
    fib-programming {
        last-successful-operation-type add
        last-successful-operation-timestamp "2026-07-26T08:23:57.690Z (8 minutes ago)"
        pending-operation-type none
        last-failed-operation-type none
    }
    next-hop 0 {
        next-hop 433673541
        resolved true
        resource-allocation-failed false
    }
    next-hop 1 {
        next-hop 433673540
        resolved true
        resource-allocation-failed false
    }

next-hop が2つ並んでいます.leaf1 が leaf2 側の宛先へ送るとき,spine1 と spine2 の両方を next-hop として選んでいる状態です.

前回との違いがあります. OSPF のときは resolved が not-applicable でしたが,今回は true になっています.

これは再帰的な解決が必要かどうかの違いです.OSPF の next-hop は「隣のルータの IP」がそのままそこにあるので解決不要でした.一方 BGP の next-hop は、経路に書かれたアドレスを自分の RIB でもう一度引き直して,実際にどのインターフェースから出すかを確定させる必要があります.その解決に成功したのが resolved true です.

traceroute でECMPが可視化

疎通確認です.この時点ではまだ EVPN を入れていないので,サーバは別サブネット(172.16.1.10 と 172.16.2.10)に置いて L3 ルーティングで確認しました.

sudo docker exec -it clab-lab03-srv1 ping -c 3 172.16.2.10
64 bytes from 172.16.2.10: icmp_seq=1 ttl=61 time=31.0 ms
64 bytes from 172.16.2.10: icmp_seq=2 ttl=61 time=0.921 ms
64 bytes from 172.16.2.10: icmp_seq=3 ttl=61 time=0.983 ms
--- 172.16.2.10 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 1998ms

ttl=61 です.Linux の初期 TTL は 64 なので,Leaf1,Spine,Leaf2 をちょうど3台経由した計算と一致します.

そして traceroute が以下のとおり.

sudo docker exec -it clab-lab03-srv1 traceroute 172.16.2.10
traceroute to 172.16.2.10 (172.16.2.10), 30 hops max, 46 byte packets
 1  172.16.1.1 (172.16.1.1)  1.017 ms  0.814 ms  0.727 ms
 2  192.168.21.1 (192.168.21.1)  2.052 ms  192.168.11.1 (192.168.11.1)  1.990 ms  192.168.21.1 (192.168.21.1)  1.456 ms
 3  192.168.22.2 (192.168.22.2)  2.629 ms  2.347 ms  1.603 ms
 4  172.16.2.10 (172.16.2.10)  0.978 ms  1.189 ms  1.042 ms

同じホップで 192.168.21.1(spine2)→ 192.168.11.1(spine1)→ 192.168.21.1(spine2)と,応答するルータが交互に変わっています.

traceroute は各ホップに3回プローブを送りますが,ECMP のハッシュ計算には送信元ポート番号が含まれるため,プローブごとに別の Spine へ振り分けられました.ECMP が実際にパケット単位で両方の経路を使っているのが出力に現れています.

underlay は完成です.

Overlay を EVPN/VXLAN で乗せる

サーバを同一サブネットに変更

L2 延伸の効果を見るために,2台のサーバを同じサブネットに置きます.

    srv1:
      kind: linux
      image: ghcr.io/srl-labs/network-multitool
      exec:
        - ip addr add 192.168.100.10/24 dev eth1
    srv2:
      kind: linux
      image: ghcr.io/srl-labs/network-multitool
      exec:
        - ip addr add 192.168.100.11/24 dev eth1

同じ /24 の中にいるので,ip route add によるスタティックルートは不要になります.
ルーティングの出番がないからです.

leafの設定(EVPN部分)

leaf1 の cfg に追加した内容です.

# サーバ収容ポートをL2化(IPは振らない)
set / interface ethernet-1/3 admin-state enable
set / interface ethernet-1/3 subinterface 0 admin-state enable
set / interface ethernet-1/3 subinterface 0 type bridged

# VXLANトンネルインターフェース
set / tunnel-interface vxlan1 vxlan-interface 100 type bridged
set / tunnel-interface vxlan1 vxlan-interface 100 ingress vni 100

# BGPにEVPNアドレスファミリを追加
set / network-instance default protocols bgp afi-safi evpn admin-state enable

# mac-vrf(テナントのL2ドメイン)
set / network-instance mac-vrf-1 type mac-vrf
set / network-instance mac-vrf-1 admin-state enable
set / network-instance mac-vrf-1 interface ethernet-1/3.0
set / network-instance mac-vrf-1 vxlan-interface vxlan1.100
set / network-instance mac-vrf-1 protocols bgp-evpn bgp-instance 1 admin-state enable
set / network-instance mac-vrf-1 protocols bgp-evpn bgp-instance 1 vxlan-interface vxlan1.100
set / network-instance mac-vrf-1 protocols bgp-evpn bgp-instance 1 evi 100
set / network-instance mac-vrf-1 protocols bgp-vpn bgp-instance 1 route-target export-rt target:65000:100
set / network-instance mac-vrf-1 protocols bgp-vpn bgp-instance 1 route-target import-rt target:65000:100

Leaf2 の EVPN ブロックは Leaf1 と完全に同一です. underlay 部分の IP と AS だけが違います.
各行の意味を整理します.

type bridged — サブインターフェースを L3(routed)から L2(bridged)に変更しました.routed なら ip-vrf に,bridged なら mac-vrf に所属させられるという対応関係です.ここに設定していた 172.16.1.1/24 は削除しました.

tunnel-interface vxlan1 — SR Linux は VXLAN を tunnel-interface としてモデル化し,その中に vxlan-interface が入ります.

ingress vni 100 — 受信した VXLAN パケットの VNI がこの値なら,この vxlan-interface(とその network-instance)宛だと判定します.

type mac-vrf — network-instance の type を mac-vrf にすると,ブロードキャストドメインとして機能します.テナントの L2 空間です.

evi 100 — EVPN Instance の識別子です.

動作確認: EVPN経路

Spine に inter-as-vpn を入れて再デプロイし,Leaf1 で BGP を確認します.

show network-instance default protocols bgp neighbor

evpn [2/2/2] という表示になりました.Leaf1 が Spine1 から2本受信し,2本とも採用し,2本送信しているという意味です.

動作確認: L2延伸の完成

本命です.

sudo docker exec -it clab-lab03-srv1 ping -c 3 192.168.100.11
64 bytes from 192.168.100.11: icmp_seq=1 ttl=64 time=3.03 ms
64 bytes from 192.168.100.11: icmp_seq=2 ttl=64 time=0.798 ms
64 bytes from 192.168.100.11: icmp_seq=3 ttl=64 time=0.953 ms
--- 192.168.100.11 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2000ms

ttl=64 です.

L3 ルーティングだったときは上述した通り ttl=61 で,「3台のルータを経由した」ことを意味していました.今回は 64 のままで,つまりルータを経由していない.

物理的には Leaf1 → Spine → Leaf2 と3台を通っているのに TTL が減っていないため,L2 で運ばれたことの証明です.

ARP テーブルも見てみます.

sudo docker exec -it clab-lab03-srv1 ip neigh
192.168.100.11 dev eth1 lladdr aa:c1:ab:3b:6a:cd STALE

lladdr の後ろが srv2 本体の MAC アドレスです.もし L3 ルーティングで届いていたなら,ここにはゲートウェイ(Leaf1)の MAC が入ります.
相手そのものの MAC が入っているということは,srv1 が srv2 を「同じ LAN にいる」と認識しているということです.

これにて一旦 Leaf-Spine 構成の基本形が構築できました.

展望

今回の構成はまだ実運用の構成ではないらしいです.以下の要素が欠けているらしい.

  • ESI-LAG — サーバを2台の leaf に同時接続する冗長化
  • L3VNI / IRB — 今回作ったのは同一サブネット内の L2 延伸だけで,異なるテナントサブネット間のルーティングには別の仕組みが必要
  • VRF と外部接続 — テナント分離とインターネットへの出口
  • MTU 設計 — VXLAN のヘッダは約50バイトあるので,本来は underlay 側で MTU 9000を設定してこれを吸収
  • BFD / BGP認証 / タイマー調整 — 障害検知の高速化とセッション保護
  • 自動化 — 数百台を手動設定することはないので, Ansible や netlab のようなものが前提

おわりに

前回はリングトポロジで OSPF を動かしただけでしたが,今回は DC で採用されるようなアーキテクチャに踏み込みました.
次回があれば,展望で列挙した点に触れていきたいです.

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?