従来、ネットワーク機器の内部機能は、ベンダプロプライエタリな領域であり、私たち利用者自らが、カスタマイズを行うことができませんでした。
ただ、最近は、SDN技術によって、ネットワーク機器のオープン化/ホワイトボックス化も着実に浸透しつつあります。

そんな折に、次のようなWeb記事
「機能がないなら作れば良い？　SDN研究者から見た「ホワイトボックススイッチ」の現状と未来」
が公開されました。

とても興味深い内容なので、自分自身でも、Web記事で語られているE-VPNを試してみたいと思います。ただ、個人でCumulus Linuxを購入するのは、金銭面で敷居が高いので、今回は、Raspberry Pi2をホワイトボッックスと見立てて動作確認しております。

◼︎ E-VPN / VXLANとは、、

EVPN と VXLAN は、次世代データセンタでのスケール性/拡張性を兼ね備えた新たなネットワークアーキテクチャ技術です。技術の詳細については、ここでは触れません。
ただ、個人的な所感としては、IoT分野においても活用が期待される技術だと思います。
さらに、E-VPNの実装事例として、Github: osrg/goBGP にてオープンソースとして技術公開されているという点は、とても興味深いです。

◼︎ Raspberry Pi2環境整備

早速、E-VPN / VXLAN動作を試すRaspberry Pi2環境を取り掛かります。

(1) Ubuntu導入

基本的に、"ARM/RaspberryPi - Ubuntu Wiki"の記載どおり、作業を進めていきます。
https://wiki.ubuntu.com/ARM/RaspberryPi

SDフォーマッターなどを活用して、microSDHCカードをフォーマットする
Raspberry Pi2用Ubuntu 14.04 LTSイメージをダウンロードする
microSDHCカードが、どこにマウントされてるかを確認する

$ df
Filesystem    512-blocks      Used Available Capacity  iused   ifree %iused  Mounted on
/dev/disk1     487849984 431973088  55364896    89% 54060634 6920612   89%   /
devfs                659       659         0   100%     1140       0  100%   /dev
map -hosts             0         0         0   100%        0       0  100%   /net
map auto_home          0         0         0   100%        0       0  100%   /home
/dev/disk2s1    30852096      4928  30847168     1%        0       0  100%   /Volumes/NO NAME

　今回は、/dev/disk2s1にマウントされているようでした。

microSDHCカードをアンマウントする

$ diskutil unmount /dev/disk2s1
Volume NO NAME on disk2s1 unmounted
$ df
Filesystem    512-blocks      Used Available Capacity  iused   ifree %iused  Mounted on
/dev/disk1     487849984 431975632  55362352    89% 54060952 6920294   89%   /
devfs                659       659         0   100%     1141       0  100%   /dev
map -hosts             0         0         0   100%        0       0  100%   /net
map auto_home          0         0         0   100%        0       0  100%   /home

microSDHCカードに、Ubuntu 14.04 LTSイメージを書き込む

$ sudo dd bs=1m if=2015-04-06-ubuntu-trusty.img of=/dev/rdisk2
Password:
1792+0 records in
1792+0 records out
1879048192 bytes transferred in 201.154983 secs (9341296 bytes/sec)

　ddで書き込むときはdisk2s1の先頭にrをつけて、s1を削る必要があります。

Ubuntuを起動して、最新にアップグレードする（ユーザ名、パスワードは、デフォルト"ubuntu"と設定されている）

$ sudo apt-get upgrade
...

$ cat /etc/lsb-release 
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=14.04
DISTRIB_CODENAME=trusty
DISTRIB_DESCRIPTION="Ubuntu 14.04.4 LTS"

SSHアクセス環境を整える

$ sudo apt-get update
$ sudo apt-get install openssh-server

rootディスク領域を拡張する

$ df -k
Filesystem     1K-blocks   Used Available Use% Mounted on
/dev/root        1707856 563264   1039788  36% /
devtmpfs          468776      4    468772   1% /dev
none                   4      0         4   0% /sys/fs/cgroup
none               94612    288     94324   1% /run
none                5120      0      5120   0% /run/lock
none              473056      0    473056   0% /run/shm
none              102400      0    102400   0% /run/user
/dev/mmcblk0p1     65390  19794     45596  31% /boot/firmware

$ sudo fdisk /dev/mmcblk0
[sudo] password for ubuntu: 

Command (m for help): d
Partition number (1-4): 2

Command (m for help): n
Partition type:
   p   primary (1 primary, 0 extended, 3 free)
   e   extended
Select (default p): p
Partition number (1-4, default 2): 2
First sector (133120-30868479, default 133120): 
Using default value 133120
Last sector, +sectors or +size{K,M,G} (133120-30868479, default 30868479): 
Using default value 30868479

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 16: Device or resource busy.
The kernel still uses the old table. The new table will be used at
the next reboot or after you run partprobe(8) or kpartx(8)
Syncing disks.

$ sudo reboot
...

$ sudo resize2fs /dev/mmcblk0p2
[sudo] password for ubuntu: 
resize2fs 1.42.9 (4-Feb-2014)
Filesystem at /dev/mmcblk0p2 is mounted on /; on-line resizing required
old_desc_blocks = 1, new_desc_blocks = 1
The filesystem on /dev/mmcblk0p2 is now 3841920 blocks long.

ubuntu@ubuntu:~$ df -k
Filesystem     1K-blocks   Used Available Use% Mounted on
/dev/root       15100720 565128  13889496   4% /
devtmpfs          468776      4    468772   1% /dev
none                   4      0         4   0% /sys/fs/cgroup
none               94612    288     94324   1% /run
none                5120      0      5120   0% /run/lock
none              473056      0    473056   0% /run/shm
none              102400      0    102400   0% /run/user
/dev/mmcblk0p1     65390  19794     45596  31% /boot/firmware

swap領域を確保する

$ sudo apt-get install dphys-swapfile
...

$ cat /proc/swaps
Filename				Type		Size	Used	Priority
/var/swap                               file		1910780	0	-1

Raspberry Pi2のUSBポートに、USB Ethernetアダプタを装着し、ネットワーク設定を行う

$ sudo vi /etc/network/interfaces 
...
auto eth0
iface eth0 inet static
address 192.168.100.101
netmask 255.255.255.0
gateway 192.168.100.1

auto eth1
iface eth1 inet static
address 192.168.0.1
netmask 255.255.255.0

auto eth2
iface eth2 inet manual
up ifconfig $IFACE 0.0.0.0 up
up ip link set $IFACE promisc on
down ip link set $IFACE promisc off
down ifconfig $IFACE down

　ちなみに、今回は、uplink側に"eth1"を、downlink側に"eth2"を割り当てる予定です。

DNS解決の設定を反映する

sudo vi /etc/resolvconf/resolv.conf.d/base
...
nameserver 192.168.100.1

$ sudo reboot
$ sudo apt-get update

(2) E-VPNルータ（通称：gobgp/goplane）の環境整備

次のようなE-VPN / VXLAN動作環境を作成します。

         (eth2) +---------+ (eth1)         mp-BGP               +--------+
... ----------+ | gobgp   | +---------------------------------+ |  BGP   | +---- ...
                |/goplane | 192.168.0.1/30       192.168.0.2/30 | Router |
                +---------+                                     +--------+
                < AS65000 >                                     < AS65000 >

    <-----------  Target  ---------->                           <-- out of scope -->

golangをインストールし、golang動作環境をセットアップする

$ wget https://storage.googleapis.com/golang/go1.6.2.linux-armv6l.tar.gz
$ sudo tar -C /usr/local -xzf go1.6.2.linux-armv6l.tar.gz
$ mkdir $HOME/golang
$ vi $HOME/.profile

...(snip)
export GOPATH=$HOME/golang
export PATH=$PATH:$GOPATH/bin:/usr/local/go/bin

$ source .profile
$ go version
go version go1.6.2 linux/arm

glideをインストールする

$ sudo apt-get install git
$ sudo apt-get install gcc
$ go get github.com/Masterminds/glide

glide活用により、goplaneをインストールする

$ cd $GOPATH/src/github.com
$ mkdir osrg
$ cd osrg
$ git clone https://github.com/osrg/goplane.git
$ cd goplane
$ glide install
$ glide up
$ cd goplaned
$ go install .

$ cd $GOPATH/bin
$ ls -l
total 25604
-rwxrwxr-x 1 ubuntu ubuntu 10504584 Jul 13 11:09 glide
-rwxrwxr-x 1 ubuntu ubuntu 15708831 Jul 13 11:22 goplaned

gobgpをインストールする

$ cd $GOPATH/src/github.com/osrg/goplane
$ cd vendor/github.com/osrg/gobgp/gobgp
$ go install .

$ cd $GOPATH/bin
$ ls -l|grep gobgp 
-rwxrwxr-x 1 ubuntu ubuntu 15643728 Jul 13 11:27 gobgp

gobgpdをインストールする

$ cd $GOPATH/src/github.com/osrg/goplane
$ cd vendor/github.com/osrg/gobgp/gobgpd
$ go install .

$ cd $GOPATH/bin
$ ls -l|grep gobgpd
-rwxrwxr-x 1 ubuntu ubuntu 18679584 Jul 13 11:31 gobgpd

gobgp設定ファイルを作成する

$HOME/golang/bin/gobgpd.conf

[[neighbors]]
[[neighbors.afi-safis]]
[neighbors.afi-safis.config]
 afi-safi-name = "ipv4-unicast"
[[neighbors.afi-safis]]
[neighbors.afi-safis.config]
 afi-safi-name = "l2vpn-evpn"

[neighbors.config]
 neighbor-address = "192.168.0.2"
 peer-as = 65000
 local-as = 65000

[global.config]
 as = 65000
 router-id = "192.168.0.1"

goplane設定ファイルを作成する

$HOME/golang/bin/goplaned.conf

[dataplane]
 type = "netlink"
[[dataplane.virtual-network-list]]
 member-interfaces = [ "eth2",]
 vni = 10
 vxlan-port = 8472
 rd = "65000:10"
 vtep-interface = "vtep10"
 etag = 10
 sniff-interfaces = [ "eth2",]

◼︎ 実際、gobgp/goplane起動して、E-VPNを試してみる

(1) gobgp/goplaneを起動する

それでは、実際に、gobgp/goplaneを起動して、E-VPN / VXLANが動作させてみます。

gobgpdを起動する

$ cd $HOME/golang/bin
$ sudo ./gobgpd -f gobgpd.conf
[sudo] password for ubuntu:
{"level":"info","msg":"gobgpd started","time":"2016-07-13T12:30:47Z"}
{"level":"info","msg":"finished reading the config file","time":"2016-07-13T12:30:47Z"}
{"level":"info","msg":"Peer 192.168.0.2 is added","time":"2016-07-13T12:30:47Z"}
{"level":"info","msg":"Add a peer configuration for 192.168.0.2","time":"2016-07-13T12:30:47Z"}
{"Key":"192.168.0.2","State":"BGP_FSM_OPENCONFIRM","Topic":"Peer","level":"info","msg":"Peer Up","time":"2016-07-13T12:33:58Z"}

goplanedを起動する

$ cd $HOME/golang/bin
$ sudo ./goplaned -f goplaned.conf
[sudo] password for ubuntu: 
{"level":"info","msg":"VirtualNetwork 65000:10 is added","time":"2016-07-13T12:31:27Z"}

　対抗側でも同様に、gobgp/goplaneを起動することにより、BGPピアが開設されました。

(2) gobgp/goplane動作状態を確認する

別ターミナルより、gobgpコマンドを用いてgobgp/goplane動作状態を、いろいろと確認してみます。

BGPピア状態を確認する

$ gobgp neighbor 192.168.0.2
BGP neighbor is 192.168.0.2, remote AS 65000
  BGP version 4, remote router ID 192.168.0.2
  BGP state = BGP_FSM_ESTABLISHED, up for 00:21:22
  BGP OutQ = 0, Flops = 0
  Hold time is 90, keepalive interval is 30 seconds
  Configured hold time is 90, keepalive interval is 30 seconds
  Neighbor capabilities:
    BGP_CAP_MULTIPROTOCOL:
        ipv4-unicast:   advertised and received
        l2vpn-evpn:     advertised and received
    BGP_CAP_ROUTE_REFRESH:      advertised and received
    BGP_CAP_FOUR_OCTET_AS_NUMBER:       advertised and received
  Message statistics:
                         Sent       Rcvd
    Opens:                  2          2
    Notifications:          0          0
    Updates:                6         13
    Keepalives:            49         49
    Route Refesh:           0          0
    Discarded:              0          0
    Total:                 57         64
  Route statistics:
    Advertised:             3
    Received:               2
    Accepted:               2

VTEP状態を確認する

$ gobgp global rib -a evpn
    Network                                                                                            Next Hop             AS_PATH              Age        Attrs
*>  [type:macadv][rd:65000:10][esi:single-homed][etag:10][mac:40:6c:8f:59:31:af][ip:<nil>][labels:[10]]0.0.0.0                                   00:04:50   [{Origin: i} {Extcomms: [VXLAN], [65000:10]}]
*>  [type:macadv][rd:65000:10][esi:single-homed][etag:10][mac:8e:7d:29:85:e9:c6][ip:<nil>][labels:[10]]192.168.0.2                               00:02:03   [{Origin: i} {LocalPref: 100} {Extcomms: [VXLAN], [65000:10]}]
*>  [type:multicast][rd:65000:10][etag:10][ip:192.168.0.1]                                             0.0.0.0                                   00:04:52   [{Origin: i} {Pmsi: type: ingress-repl, label: 0, tunnel-id: 192.168.0.1} {Extcomms: [65000:10]}]
*>  [type:multicast][rd:65000:10][etag:10][ip:192.168.0.2]                                             192.168.0.2                               00:02:21   [{Origin: i} {LocalPref: 100} {Extcomms: [65000:10]} {Pmsi: type: ingress-repl, label: 0, tunnel-id: 192.168.0.2}]

問題なく、E-VPN / VXLANは、動作しているようです。

(3) エンド端末から、DataPlane通信を確認してみる

いよいよ、E-VPN / VXLANを用いて作成されたDataPlane通信路を用いて、実際にデータ流通を確認してみたいと思います。

事前準備として、自側インタフェスのネットワーク設定を確認しておく

$ ifconfig

...(snip)

en5: flags=8863<UP,BROADCAST,SMART,RUNNING,SIMPLEX,MULTICAST> mtu 1500
	options=10b<RXCSUM,TXCSUM,VLAN_HWTAGGING,AV>
	ether 40:6c:8f:59:31:af 
	inet6 fe80::426c:8fff:fe59:31af%en5 prefixlen 64 scopeid 0x1c 
	inet 192.168.3.2 netmask 0xffffff00 broadcast 192.168.3.255
	nd6 options=1<PERFORMNUD>
	media: autoselect (100baseTX <full-duplex,flow-control>)
	status: active

いよいよ、Pingコマンドをうってみる

$ ping 192.168.3.1
PING 192.168.3.1 (192.168.3.1): 56 data bytes
64 bytes from 192.168.3.1: icmp_seq=0 ttl=64 time=2.917 ms
64 bytes from 192.168.3.1: icmp_seq=1 ttl=64 time=1.327 ms
64 bytes from 192.168.3.1: icmp_seq=2 ttl=64 time=1.354 ms
64 bytes from 192.168.3.1: icmp_seq=3 ttl=64 time=1.311 ms
64 bytes from 192.168.3.1: icmp_seq=4 ttl=64 time=1.283 ms
^C
--- 192.168.3.1 ping statistics ---
5 packets transmitted, 5 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 1.283/1.638/2.917/0.640 ms

さらに、MACアドレスの学習のようすを確認してみる

$ arp -a
? (192.168.3.1) at 8e:7d:29:85:e9:c6 on en5 ifscope [ethernet]

E-VPN / VXLANにより作成されたDataPlane通信路を用いて、ICMP ECHO Request / Replyが期待どおり動作しました。

(4) DataPlane通信のようすを、パケットキャプチャで確認してみる

TCPDUMPによるVXLANパケット内部を確認する

![tcpdump.png](

VXLANによって、ICMP ECHO Request / Replyが転送されているようすが確認できました！

◼︎ 終わりに...

今回は、あくまでも、Raspberry Pi2というホワイトボックスを活用して、E-VPNを動作させたに過ぎません。もちろん、DataPlane通信におけるパフォーマンス面は、全く期待できるものではありません。単に、pingが通信できただけです。
しかしながら、従来、ネットワーク機器の内部機能として、ベンダプロプライエタリな領域に、オープンソースなソフトウェアと、ホワイトボックスを組み合わせれば、私たち利用者自らが自由なネットワーク機能ブロックを構築できる将来への可能性を確認できたと思います。
そして、将来は、IoT時代にも、ホワイトボックス製品は、浸透していくものだと思います。