BGP Route Serverを用いたWANネットワーク設計

以前、 BGP Route ReflectorとBGP Route Server で軽く触れましたが、BGP Route Serverを利用するとそこそこ柔軟に、かつスケールアウトしやすいWANネットワークを構築できます（WANがL2網であることが前提ですが）。早速ですがネットワーク設計を行っていきます。

ネットワーク構成

AS65001がデータセンターでBGP Route Serverが設置されており、AS65010 - 65012が本社・ブランチのWANルータだと思ってください。AS65010 - 65012のルータはWAN #1, #2それぞれの面でBGP Route Serverとピアリングします。各ASのルータ機種、利用アドレスは以下のとおりです。

AS番号	機種	WAN#1 IP add.	WAN #2 IP add.	loopback IP add.	LAN IP add.
65001	Cisco 841MJ	10.1.0.1/24	10.2.0.1/24
65010	Cisco 1812J	10.1.0.10/24	10.2.0.10/24	10.0.0.10/32	172.16.1.1/24
65011	Edge Router X	10.1.0.11/24	10.2.0.11/24	10.0.0.11/32	172.16.2.1/24
65012	Juniper SRX 100H	10.1.0.12/24	10.2.0.12/24	10.0.0.12/32	172.16.3.1/24

AS65010 - 65012の各ルータは非トランジットAS（他のASから受信した経路情報を転送しない）とし、WAN #1経由で送出するルートにMED 10を、WAN #2経由で送出するルートにMED 20を付与して、常にWAN #1が優先されるように設計します。また、後ほど理由を説明しますが経路送出時にCOMMUNITYアトリビュートを付与します。各ルータのコンフィグは以下のとおりです。

AS65001_Cisco841MJ(BGP_Route_Server)

hostname R65001
no ip domain-lookup

int giga 0/4
   description WAN #1
   ip address 10.1.0.1 255.255.255.0
   no shutdown

int giga 0/5
   description WAN #2
   ip address 10.2.0.1 255.255.255.0
   no shutdown

router bgp 65001
 route-server-context WAN1_CONTEXT
  address-family ipv4 unicast
   import-map WAN1_IM
  exit-address-family
 exit-route-server-context

 route-server-context WAN2_CONTEXT
  address-family ipv4 unicast
   import-map WAN2_IM
  exit-address-family
 exit-route-server-context

bgp router-id 10.0.0.1
 bgp always-compare-med
 bgp log-neighbor-changes
 timers bgp 3 20
 neighbor 10.1.0.10 remote-as 65010
 neighbor 10.1.0.11 remote-as 65011
 neighbor 10.1.0.12 remote-as 65012
 neighbor 10.2.0.10 remote-as 65010
 neighbor 10.2.0.11 remote-as 65011
 neighbor 10.2.0.12 remote-as 65012
 
 address-family ipv4
  neighbor 10.1.0.10 activate
  neighbor 10.1.0.10 send-community
  neighbor 10.1.0.10 route-server-client context WAN1_CONTEXT
  neighbor 10.1.0.10 route-map WAN1_OUT out
  neighbor 10.1.0.11 activate
  neighbor 10.1.0.11 send-community
  neighbor 10.1.0.11 route-server-client context WAN1_CONTEXT
  neighbor 10.1.0.11 route-map WAN1_OUT out
  neighbor 10.1.0.12 activate
  neighbor 10.1.0.12 send-community
  neighbor 10.1.0.12 route-server-client context WAN1_CONTEXT
  neighbor 10.1.0.12 route-map WAN1_OUT out
  neighbor 10.2.0.10 activate
  neighbor 10.2.0.10 send-community
  neighbor 10.2.0.10 route-server-client context WAN2_CONTEXT
  neighbor 10.2.0.10 route-map WAN2_OUT out
  neighbor 10.2.0.11 activate
  neighbor 10.2.0.11 send-community
  neighbor 10.2.0.11 route-server-client context WAN2_CONTEXT
  neighbor 10.2.0.11 route-map WAN2_OUT out
  neighbor 10.2.0.12 activate
  neighbor 10.2.0.12 send-community
  neighbor 10.2.0.12 route-server-client context WAN2_CONTEXT
  neighbor 10.2.0.12 route-map WAN2_OUT out
 exit-address-family


ip bgp-community new-format
ip community-list 1 permit 65001:1
ip community-list 2 permit 65001:2

route-map WAN2_IM permit 10
 match community 2

route-map WAN1_IM permit 10
 match community 1

route-map WAN1_OUT permit 100
 set community none

route-map WAN2_OUT permit 100
 set community none

AS65010_Cisco1812J

hostname R65010

interface Loopback0
 ip address 10.0.0.10 255.255.255.255

interface Loopback1
 description LAN
 ip address 172.16.1.1 255.255.255.0

interface FastEthernet0
 description WAN #1
 ip address 10.1.0.10 255.255.255.0
 duplex auto
 speed auto

interface FastEthernet1
 description WAN #2
 ip address 10.2.0.10 255.255.255.0
 duplex auto
 speed auto

router bgp 65010
 bgp router-id 10.0.0.10
 bgp always-compare-med
 no bgp enforce-first-as
 bgp log-neighbor-changes
 timers bgp 3 20
 neighbor 10.1.0.1 remote-as 65001
 neighbor 10.2.0.1 remote-as 65001
 
 address-family ipv4
  neighbor 10.1.0.1 activate
  neighbor 10.1.0.1 send-community
  neighbor 10.1.0.1 route-map AS65001_WAN1_OUT out
  neighbor 10.2.0.1 activate
  neighbor 10.2.0.1 send-community
  neighbor 10.2.0.1 route-map AS65001_WAN2_OUT out
  no auto-summary
  no synchronization
  network 10.0.0.10 mask 255.255.255.255
  network 172.16.1.0 mask 255.255.255.0
 exit-address-family

ip bgp-community new-format
ip as-path access-list 1 permit ^$

route-map AS65001_WAN2_OUT permit 10
 match as-path 1
 set metric 20
 set community 65001:2

route-map AS65001_WAN1_OUT permit 10
 match as-path 1
 set metric 10
 set community 65001:1

AS65011_EdgeRouter-X

set interfaces ethernet eth0 address 192.168.1.102/24
set interfaces ethernet eth0 duplex auto
set interfaces ethernet eth0 speed auto
set interfaces ethernet eth1 address 10.1.0.11/24
set interfaces ethernet eth1 description 'WAN #1'
set interfaces ethernet eth1 duplex auto
set interfaces ethernet eth1 speed auto
set interfaces ethernet eth2 address 10.2.0.11/24
set interfaces ethernet eth2 description 'WAN #2'
set interfaces ethernet eth2 duplex auto
set interfaces ethernet eth2 speed auto
set interfaces ethernet eth3 address 172.16.2.1/24
set interfaces ethernet eth3 description LAN
set interfaces ethernet eth3 duplex auto
set interfaces ethernet eth3 speed auto
set interfaces ethernet eth4 duplex auto
set interfaces ethernet eth4 speed auto
set interfaces loopback lo address 10.0.0.11/32
set interfaces switch switch0 mtu 1500
set policy as-path-list My-AS rule 10 action permit
set policy as-path-list My-AS rule 10 regex '^$'
set policy route-map AS65001-WAN1-OUT rule 10 action permit
set policy route-map AS65001-WAN1-OUT rule 10 match as-path My-AS
set policy route-map AS65001-WAN1-OUT rule 10 set community '65001:1'
set policy route-map AS65001-WAN1-OUT rule 10 set metric 10
set policy route-map AS65001-WAN2-OUT rule 10 action permit
set policy route-map AS65001-WAN2-OUT rule 10 match as-path My-AS
set policy route-map AS65001-WAN2-OUT rule 10 set community '65001:2'
set policy route-map AS65001-WAN2-OUT rule 10 set metric 20
set protocols bgp 65011 neighbor 10.1.0.1 remote-as 65001
set protocols bgp 65011 neighbor 10.1.0.1 route-map export AS65001-WAN1-OUT
set protocols bgp 65011 neighbor 10.1.0.1 soft-reconfiguration inbound
set protocols bgp 65011 neighbor 10.2.0.1 remote-as 65001
set protocols bgp 65011 neighbor 10.2.0.1 route-map export AS65001-WAN2-OUT
set protocols bgp 65011 neighbor 10.2.0.1 soft-reconfiguration inbound
set protocols bgp 65011 network 10.0.0.11/32
set protocols bgp 65011 network 172.16.2.0/24
set protocols bgp 65011 parameters always-compare-med
set protocols bgp 65011 parameters router-id 10.0.0.11
set protocols bgp 65011 timers holdtime 20
set protocols bgp 65011 timers keepalive 3

AS65102_Juniper_SRX100H

set system host-name R65012
set interfaces fe-0/0/0 unit 0
set interfaces fe-0/0/1 unit 0 description LAN
set interfaces fe-0/0/1 unit 0 family inet address 172.16.3.1/24
set interfaces fe-0/0/2 unit 0 description "WAN #1"
set interfaces fe-0/0/2 unit 0 family inet address 10.1.0.12/24
set interfaces fe-0/0/3 unit 0 description "WAN #2"
set interfaces fe-0/0/3 unit 0 family inet address 10.2.0.12/24
set interfaces fe-0/0/4 unit 0
set interfaces fe-0/0/5 unit 0
set interfaces fe-0/0/6 unit 0
set interfaces fe-0/0/7 unit 0
set interfaces lo0 unit 0 family inet address 10.0.0.12/32
set routing-options router-id 10.0.0.12
set routing-options autonomous-system 65012
set protocols bgp path-selection always-compare-med
set protocols bgp group EXT type external
set protocols bgp group EXT hold-time 20
set protocols bgp group EXT neighbor 10.1.0.1 export AS65001_WAN1_OUT
set protocols bgp group EXT neighbor 10.1.0.1 peer-as 65001
set protocols bgp group EXT neighbor 10.2.0.1 export AS65001_WAN2_OUT
set protocols bgp group EXT neighbor 10.2.0.1 peer-as 65001
set policy-options policy-statement AS65001_WAN1_OUT term 1 from as-path null-as
set policy-options policy-statement AS65001_WAN1_OUT term 1 then metric 10
set policy-options policy-statement AS65001_WAN1_OUT term 1 then community set COMM1
set policy-options policy-statement AS65001_WAN1_OUT term 1 then accept
set policy-options policy-statement AS65001_WAN1_OUT term 2 then reject
set policy-options policy-statement AS65001_WAN2_OUT term 1 from as-path null-as
set policy-options policy-statement AS65001_WAN2_OUT term 1 then metric 20
set policy-options policy-statement AS65001_WAN2_OUT term 1 then community set COMM2
set policy-options policy-statement AS65001_WAN2_OUT term 1 then accept
set policy-options policy-statement AS65001_WAN2_OUT term 2 then reject
set policy-options community COMM1 members 65001:1
set policy-options community COMM2 members 65001:2
set policy-options as-path null-as "()"
set security policies from-zone trust to-zone trust policy permit-all match source-address any
set security policies from-zone trust to-zone trust policy permit-all match destination-address any
set security policies from-zone trust to-zone trust policy permit-all match application any
set security policies from-zone trust to-zone trust policy permit-all then permit
set security zones security-zone trust host-inbound-traffic system-services all
set security zones security-zone trust host-inbound-traffic protocols all
set security zones security-zone trust interfaces fe-0/0/2.0
set security zones security-zone trust interfaces fe-0/0/3.0
set security zones security-zone trust interfaces fe-0/0/1.0
set security zones security-zone trust interfaces lo0.0

今回はBGP Route Server(AS65001)でRoute Server Contextという機能を使っています。イメージとしてはルーティングテーブルで言うVRFのBGPテーブル版です。WAN #1で受信したBGPの経路情報はWAN #1に接続されている他のルータに、WAN #2で受信したBGPの経路情報はWAN #2に接続されている他のルータに転送しないといけないわけですが、BGP Route ServerのBGPテーブルが１つだと、WAN #1とWAN #2から受信した経路情報が１つのテーブルで管理されることになり、経路情報の強さによりどちらかの情報が消失します。それだと経路の二重化ができないのでBGPテーブルを２つに分ける必要があります。物理的にBGP Route Serverを２台に分けるという手もありますが、今回はRoute Server Contextという機能を使って、１台のルータの中でBGPテーブルを２つ持たせます。

Route Server Contextを使うと、１台のルータにBGPテーブルが２つできるため、WAN #1, WAN #2から受信した経路情報を適切なBGPテーブルに格納するための処理が必要となります。追加の処理として、AS65010 - 65012の各ルータで、経路情報を送信する際にCommunityアトリビュートを付与します。具体的には、WAN #1経由で経路情報を送出するときは「65001:1」というアトリビュートを、WAN #2経由で経路情報を送出するときは「65001:2」というアトリビュートを付与します。BGP Route Serverは経路情報を受信時にCommunityアトリビュートを見て適切なBGPテーブルに経路情報を格納します。また、受信した経路情報を他のルータに転送する際、Communityアトリビュートを削除します。BGP Route Server Contextについて詳しく知りたい方は、以下リンク先をご参照ください。

Configuring a BGP Route Server

通信経路確認

BGP Route Server（AS65001）で、BGPテーブルを見ると以下のような状態になっています。

AS65001_Cisco841MJ

R65001#sh ip bgp
〜省略〜
     Network          Next Hop            Metric LocPrf Weight Path
 *>  10.0.0.10/32     10.1.0.10               10             0 65010 i
 *                    10.2.0.10               20             0 65010 i
 *>  10.0.0.11/32     10.1.0.11               10             0 65011 i
 *                    10.2.0.11               20             0 65011 i
 *   10.0.0.12/32     10.2.0.12               20             0 65012 i
 *>                   10.1.0.12               10             0 65012 i
 r   10.1.0.0/24      10.2.0.12               20             0 65012 i
 r>                   10.1.0.12               10             0 65012 i
 r   10.2.0.0/24      10.2.0.12               20             0 65012 i
 r>                   10.1.0.12               10             0 65012 i
 *>  172.16.1.0/24    10.1.0.10               10             0 65010 i
 *                    10.2.0.10               20             0 65010 i
 *>  172.16.2.0/24    10.1.0.11               10             0 65011 i
 *                    10.2.0.11               20             0 65011 i
 *   172.16.3.0/24    10.2.0.12               20             0 65012 i
 *>                   10.1.0.12               10             0 65012 i

WAN #1, WAN #2双方から経路情報が届いていますが、ベストルートとして選択されている（">"がついている）経路はWAN #1経由の経路のみであり、WAN #2から来た経路情報が消失します。次に、各Contextの中身を見ます。

AS65001_Cisco841MJ

R65001#sh ip bgp route-server context WAN1_CONTEXT 
〜省略〜
Networks for route server context WAN1_CONTEXT:
   Network          Next Hop            Metric LocPrf Weight Path
 *>  10.0.0.10/32     10.1.0.10               10             0 65010 i
 *>  10.0.0.11/32     10.1.0.11               10             0 65011 i
 *>  10.0.0.12/32     10.1.0.12               10             0 65012 i
 r>  10.1.0.0/24      10.1.0.12               10             0 65012 i
 r>  10.2.0.0/24      10.1.0.12               10             0 65012 i
 *>  172.16.1.0/24    10.1.0.10               10             0 65010 i
 *>  172.16.2.0/24    10.1.0.11               10             0 65011 i
 *>  172.16.3.0/24    10.1.0.12               10             0 65012 i

AS65001_Cisco841MJ

R65001#sh ip bgp route-server context WAN2_CONTEXT 
〜省略〜
Networks for route server context WAN2_CONTEXT:
   Network          Next Hop            Metric LocPrf Weight Path
 *   10.0.0.10/32     10.2.0.10               20             0 65010 i
 *   10.0.0.11/32     10.2.0.11               20             0 65011 i
 *   10.0.0.12/32     10.2.0.12               20             0 65012 i
 r   10.1.0.0/24      10.2.0.12               20             0 65012 i
 r   10.2.0.0/24      10.2.0.12               20             0 65012 i
 *   172.16.1.0/24    10.2.0.10               20             0 65010 i
 *   172.16.2.0/24    10.2.0.11               20             0 65011 i
 *   172.16.3.0/24    10.2.0.12               20             0 65012 i

それぞれのContextの中には、WAN#1, WAN#2経由で届いた経路情報が分割されて格納されていることがわかります。Contextの利用によって、WAN#2の経路情報の消失を防ぎます。

AS65010 - 65012の各ルータから見たBGPピアリング、BGPテーブル、ルーティングテーブルの状態、Pingの結果は以下のとおりです。

AS65010_Cisco1812J

R65010#sh ip bgp summ
〜省略〜

Neighbor        V          AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.1.0.1        4      65001    3543    3291       80    0    0 00:58:42        6
10.2.0.1        4      65001    3512    3273       80    0    0 00:00:17        2



R65010#sh ip bgp
〜省略〜

   Network          Next Hop            Metric LocPrf Weight Path
*> 10.0.0.10/32     0.0.0.0                  0         32768 i
*  10.0.0.11/32     10.2.0.11               20             0 65011 i
*>                  10.1.0.11               10             0 65011 i
*  10.0.0.12/32     10.2.0.12               20             0 65012 i
*>                  10.1.0.12               10             0 65012 i
r  10.1.0.0/24      10.2.0.12               20             0 65012 i
r>                  10.1.0.12               10             0 65012 i
r  10.2.0.0/24      10.2.0.12               20             0 65012 i
r>                  10.1.0.12               10             0 65012 i
*> 172.16.1.0/24    0.0.0.0                  0         32768 i
*  172.16.2.0/24    10.2.0.11               20             0 65011 i
*>                  10.1.0.11               10             0 65011 i
*  172.16.3.0/24    10.2.0.12               20             0 65012 i
*>                  10.1.0.12               10             0 65012 i



R65010#sh ip route
〜省略〜

Gateway of last resort is not set

     172.16.0.0/24 is subnetted, 3 subnets
C       172.16.1.0 is directly connected, Loopback1
B       172.16.2.0 [20/10] via 10.1.0.11, 00:59:24
B       172.16.3.0 [20/10] via 10.1.0.12, 00:21:54
     10.0.0.0/8 is variably subnetted, 5 subnets, 2 masks
C       10.0.0.10/32 is directly connected, Loopback0
B       10.0.0.11/32 [20/10] via 10.1.0.11, 00:59:24
B       10.0.0.12/32 [20/10] via 10.1.0.12, 00:21:54
C       10.2.0.0/24 is directly connected, FastEthernet1
C       10.1.0.0/24 is directly connected, FastEthernet0



R65010#ping 172.16.2.1

Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 172.16.2.1, timeout is 2 seconds:
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms

R65010#ping 172.16.3.1

Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 172.16.3.1, timeout is 2 seconds:
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/4 ms

AS65011_EdgeRouter-X

ubnt@ubnt2:~$ show ip bgp summary 
BGP router identifier 10.0.0.11, local AS number 65011
IPv4 Unicast - max multipaths: ebgp 1 ibgp 1
RIB entries 15, using 960 bytes of memory
Peers 2, using 5048 bytes of memory

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.1.0.1        4 65001    1514     856        0    0    0 01:05:17        6
10.2.0.1        4 65001    1505     854        0    0    0 00:06:39        6

Total number of neighbors 2


ubnt@ubnt2:~$ show ip bgp
BGP table version is 0, local router ID is 10.0.0.11
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
              r RIB-failure, S Stale, R Removed
Origin codes: i - IGP, e - EGP, ? - incomplete

   Network          Next Hop            Metric LocPrf Weight Path
*  10.0.0.10/32     10.2.0.10               20             0 65010 i
*>                  10.1.0.10               10             0 65010 i
*> 10.0.0.11/32     0.0.0.0                  1         32768 i
*  10.0.0.12/32     10.2.0.12               20             0 65012 i
*>                  10.1.0.12               10             0 65012 i
*  10.1.0.0/24      10.2.0.12               20             0 65012 i
*>                  10.1.0.12               10             0 65012 i
*  10.2.0.0/24      10.2.0.12               20             0 65012 i
*>                  10.1.0.12               10             0 65012 i
*  172.16.1.0/24    10.2.0.10               20             0 65010 i
*>                  10.1.0.10               10             0 65010 i
*> 172.16.2.0/24    0.0.0.0                  1         32768 i
*  172.16.3.0/24    10.2.0.12               20             0 65012 i
*>                  10.1.0.12               10             0 65012 i

Total number of prefixes 8



ubnt@ubnt2:~$ show ip route
Codes: K - kernel route, C - connected, S - static, R - RIP, O - OSPF,
       I - ISIS, B - BGP, > - selected route, * - FIB route

B>* 10.0.0.10/32 [20/10] via 10.1.0.10, eth1, 01:04:45
C>* 10.0.0.11/32 is directly connected, lo
B>* 10.0.0.12/32 [20/10] via 10.1.0.12, eth1, 00:27:43
B   10.1.0.0/24 [20/10] via 10.1.0.12 inactive, 00:27:43
C>* 10.1.0.0/24 is directly connected, eth1
B   10.2.0.0/24 [20/10] via 10.1.0.12, 00:27:43
C>* 10.2.0.0/24 is directly connected, eth2
C>* 127.0.0.0/8 is directly connected, lo
B>* 172.16.1.0/24 [20/10] via 10.1.0.10, eth1, 01:04:45
C>* 172.16.2.0/24 is directly connected, eth3
B>* 172.16.3.0/24 [20/10] via 10.1.0.12, eth1, 00:27:43
C>* 192.168.1.0/24 is directly connected, eth0



ubnt@ubnt2:~$ ping 172.16.1.1
PING 172.16.1.1 (172.16.1.1) 56(84) bytes of data.
64 bytes from 172.16.1.1: icmp_req=1 ttl=255 time=0.688 ms
64 bytes from 172.16.1.1: icmp_req=2 ttl=255 time=0.682 ms
64 bytes from 172.16.1.1: icmp_req=3 ttl=255 time=0.653 ms
64 bytes from 172.16.1.1: icmp_req=4 ttl=255 time=0.669 ms
64 bytes from 172.16.1.1: icmp_req=5 ttl=255 time=0.688 ms
^C
--- 172.16.1.1 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 3998ms
rtt min/avg/max/mdev = 0.653/0.676/0.688/0.013 ms

ubnt@ubnt2:~$ ping 172.16.3.1
PING 172.16.3.1 (172.16.3.1) 56(84) bytes of data.
64 bytes from 172.16.3.1: icmp_req=1 ttl=64 time=0.814 ms
64 bytes from 172.16.3.1: icmp_req=2 ttl=64 time=0.734 ms
64 bytes from 172.16.3.1: icmp_req=3 ttl=64 time=0.767 ms
64 bytes from 172.16.3.1: icmp_req=4 ttl=64 time=0.791 ms
64 bytes from 172.16.3.1: icmp_req=5 ttl=64 time=0.861 ms
^C
--- 172.16.3.1 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4002ms
rtt min/avg/max/mdev = 0.734/0.793/0.861/0.049 ms

AS65012_Juniper_SRX100

root@R65012> show bgp summary                            
Groups: 2 Peers: 2 Down peers: 0
Table          Tot Paths  Act Paths Suppressed    History Damp State    Pending
inet.0               
                       8          4          0          0          0          0
Peer                     AS      InPkt     OutPkt    OutQ   Flaps Last Up/Dwn State|#Active/Received/Accepted/Damped...
10.1.0.1              65001        704        400       0       5       35:45 4/4/4/0              0/0/0/0
10.2.0.1              65001        289        166       0       6       14:39 0/4/4/0              0/0/0/0



root@R65012> show route receive-protocol bgp 10.1.0.1    

inet.0: 11 destinations, 15 routes (11 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
* 10.0.0.10/32            10.1.0.10            10                 65010 I
* 10.0.0.11/32            10.1.0.11            10                 65011 I
* 172.16.1.0/24           10.1.0.10            10                 65010 I
* 172.16.2.0/24           10.1.0.11            10                 65011 I

root@R65012> show route receive-protocol bgp 10.2.0.1    

inet.0: 11 destinations, 15 routes (11 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
  10.0.0.10/32            10.2.0.10            20                 65010 I
  10.0.0.11/32            10.2.0.11            20                 65011 I
  172.16.1.0/24           10.2.0.10            20                 65010 I
  172.16.2.0/24           10.2.0.11            20                 65011 I


root@R65012> show route                 

inet.0: 11 destinations, 15 routes (11 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

10.0.0.10/32       *[BGP/170] 00:36:30, MED 10, localpref 100, from 10.1.0.1
                      AS path: 65010 I
                    > to 10.1.0.10 via fe-0/0/2.0
                    [BGP/170] 00:14:56, MED 20, localpref 100, from 10.2.0.1
                      AS path: 65010 I
                    > to 10.2.0.10 via fe-0/0/3.0
10.0.0.11/32       *[BGP/170] 00:36:30, MED 10, localpref 100, from 10.1.0.1
                      AS path: 65011 I
                    > to 10.1.0.11 via fe-0/0/2.0
                    [BGP/170] 00:15:24, MED 20, localpref 100, from 10.2.0.1
                      AS path: 65011 I
                    > to 10.2.0.11 via fe-0/0/3.0
10.0.0.12/32       *[Direct/0] 02:46:14
                    > via lo0.0
10.1.0.0/24        *[Direct/0] 02:25:46
                    > via fe-0/0/2.0
10.1.0.12/32       *[Local/0] 03:06:22
                      Local via fe-0/0/2.0
10.2.0.0/24        *[Direct/0] 02:11:03
                    > via fe-0/0/3.0    
10.2.0.12/32       *[Local/0] 03:06:22
                      Local via fe-0/0/3.0
172.16.1.0/24      *[BGP/170] 00:36:30, MED 10, localpref 100, from 10.1.0.1
                      AS path: 65010 I
                    > to 10.1.0.10 via fe-0/0/2.0
                    [BGP/170] 00:14:56, MED 20, localpref 100, from 10.2.0.1
                      AS path: 65010 I
                    > to 10.2.0.10 via fe-0/0/3.0
172.16.2.0/24      *[BGP/170] 00:36:30, MED 10, localpref 100, from 10.1.0.1
                      AS path: 65011 I
                    > to 10.1.0.11 via fe-0/0/2.0
                    [BGP/170] 00:15:24, MED 20, localpref 100, from 10.2.0.1
                      AS path: 65011 I
                    > to 10.2.0.11 via fe-0/0/3.0
172.16.3.0/24      *[Direct/0] 01:49:10
                    > via fe-0/0/1.0
172.16.3.1/32      *[Local/0] 01:49:19
                      Local via fe-0/0/1.0



root@R65012> ping 172.16.1.1 
PING 172.16.1.1 (172.16.1.1): 56 data bytes
64 bytes from 172.16.1.1: icmp_seq=0 ttl=255 time=2.594 ms
64 bytes from 172.16.1.1: icmp_seq=1 ttl=255 time=2.108 ms
64 bytes from 172.16.1.1: icmp_seq=2 ttl=255 time=2.438 ms
64 bytes from 172.16.1.1: icmp_seq=3 ttl=255 time=2.298 ms
64 bytes from 172.16.1.1: icmp_seq=4 ttl=255 time=2.736 ms
^C
--- 172.16.1.1 ping statistics ---
5 packets transmitted, 5 packets received, 0% packet loss
round-trip min/avg/max/stddev = 2.108/2.435/2.736/0.220 ms


root@R65012> ping 172.16.2.1    
PING 172.16.2.1 (172.16.2.1): 56 data bytes
64 bytes from 172.16.2.1: icmp_seq=0 ttl=64 time=2.366 ms
64 bytes from 172.16.2.1: icmp_seq=1 ttl=64 time=2.263 ms
64 bytes from 172.16.2.1: icmp_seq=2 ttl=64 time=2.440 ms
64 bytes from 172.16.2.1: icmp_seq=3 ttl=64 time=2.156 ms
64 bytes from 172.16.2.1: icmp_seq=4 ttl=64 time=2.164 ms
^C
--- 172.16.2.1 ping statistics ---
5 packets transmitted, 5 packets received, 0% packet loss
round-trip min/avg/max/stddev = 2.156/2.278/2.440/0.111 ms

それぞれ、BGP Route Serverのみとピアリングしており、各ルータへの経路はWAN #1経由が優先され、Pingも問題なく通ることがわかります。

WAN障害時の通信経路

せっかくなので、WAN障害時にどのように通信経路が迂回されるかも見てみます。今回は、AS65010のWAN #1が何らかの原因により通信できなくなったとします。ここではAS65010のルータでWAN #1向けのケーブルを抜きます。まずはルートサーバでピアの状態を見てみます。

AS65001_Cisco841MJ

R65001>sh ip bgp summ
〜省〜
Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.1.0.10       4        65010       0       0        1    0    0 00:00:15 Active
10.1.0.11       4        65011     807    1584      133    0    0 01:20:24        2
10.1.0.12       4        65012     478     844      133    0    0 00:42:49        4
10.2.0.10       4        65010     427     429      133    0    0 00:21:42        2
10.2.0.11       4        65011     221     433      133    0    0 00:21:45        2
10.2.0.12       4        65012     244     429      133    0    0 00:21:43        4

10.1.0.10とピアリングできていないことがわかります。AS65010からルーティングテーブルの状態、Pingの結果を見てみます。

AS65010_Cisco1812J

R65010>sh ip route
〜省略〜
     172.16.0.0/24 is subnetted, 3 subnets
C       172.16.1.0 is directly connected, Loopback1
B       172.16.2.0 [20/20] via 10.2.0.11, 00:01:39
B       172.16.3.0 [20/20] via 10.2.0.12, 00:01:39
     10.0.0.0/8 is variably subnetted, 5 subnets, 2 masks
C       10.0.0.10/32 is directly connected, Loopback0
B       10.0.0.11/32 [20/20] via 10.2.0.11, 00:01:39
B       10.0.0.12/32 [20/20] via 10.2.0.12, 00:01:39
C       10.2.0.0/24 is directly connected, FastEthernet1
B       10.1.0.0/24 [20/20] via 10.2.0.12, 00:01:40



R65010>ping 172.16.2.1

Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 172.16.2.1, timeout is 2 seconds:
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/4 ms
R65010>ping 172.16.3.1

Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 172.16.3.1, timeout is 2 seconds:
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/4 ms

ルーティングテーブルを見ると、各ネットワークへの経路情報は残っていますが、NextHopが10.2.0.xx（WAN #2経由）になっていることがわかります。Pingも通ります。

他の技術との比較

今回のネットワークと似たようなものは、他のルーティング方式でも実装できます。ただ、スケーラビリティや経路制御の部分で違いが出てくるので、その辺を比較します。

BGP Route Server V.S. OSPF

今回の規模のネットワークであればOSPFで作ったほうが早いです。ただ、OSPFの場合1エリアに最大100ルータ程度しか収容できないため、それ以上の規模であればRoute Server方式がおすすめです。また、OSPFに比べ経路制御が柔軟にできるので、その点もRoute Serverを使ったほうがメリットが出ます。

BGP Route Server V.S. BGP (Third-Party Next-Hop)

BGPには、他のASを中継しても、同一セグメント内の経路交換であればNEXT-HOPアトリビュートが変更されないという特性があります。例えば、今回の構成のようにAS65010がAS65001を介してAS65011と経路交換している場合でも、それぞれのピアのアドレスは10.1.0.0/24、もしくは10.2.0.0/24の範囲に収まっているので、実はRoute Serverを使わなくても同じようなルーティングになります。ただ、Third-Party Next-Hopを使う場合、AS65001でAS-PATHが追加され。MEDも初期化されてしまうため、経路制御が難しくなります。

おわりに

今回はBGP Route Serverを用いたWANネットワーク設計を見ていきました。次回は、今回構築したネットワークの経路制御を見ていきたいと思います。