パブリッククラウド上の仮想ネットワークでは、ブロードキャストやマルチキャストといった1:多の通信は利用できないケースに遭遇することがあります。
Oracle Linuxのipコマンドを利用してVXLANを構築し、OCI VCN上でブロードキャスト通信を実現してみました。
検証環境
Oracle Linux 8が稼働するE5 Computeインスタンスを利用して検証を行いました。
[opc@instance01 ~]$ uname -r
5.15.0-205.149.5.1.el8uek.x86_64
OCIに構築した環境は下記の図のようになっています。
構築したインスタンスのVCN上のPrivate IPアドレスと、VXLAN上のPrivate IPアドレスの対応は下記のようになっています。
| Instance Name | Private IP on VCN | Private IP on VXLAN |
|---|---|---|
| instance01 | 192.168.0.254 | 171.16.1.1 |
| instance02 | 192.168.0.180 | 172.16.1.2 |
| instance03 | 192.168.0.110 | 172.16.1.3 |
UDP通信で利用するポートの開放
VXLANの通信には、UDP 8472番ポートが利用されます。
また、ブロードキャストの検証で利用するアプリケーション用にUDP 50001番ポートを解放しました。
[opc@instance01 ~]$ sudo firewall-cmd --add-port=8472/udp --zone=public --permanent
success
[opc@instance01 ~]$ sudo firewall-cmd --add-port=50001/udp --zone=public --permanent
success
[opc@instance01 ~]$ sudo systemctl restart firewalld
VXLANの構築
事前準備が終わりしたので各インスタンスにてVXLANの構築作業を行います。
instance01
ユニキャストモードでvxlan0を構築します。
[opc@instance01 ~]$ sudo ip link add vxlan0 type vxlan id 10 remote 192.168.0.254 dstport 8472 dev enp0s5
設定したvxlan0の情報を確認します。
[opc@instance01 ~]$ ip -d link show vxlan0
3: vxlan0: <BROADCAST,MULTICAST> mtu 8950 qdisc noop state DOWN mode DEFAULT group default qlen 1000
link/ether c2:74:8e:a8:42:e2 brd ff:ff:ff:ff:ff:ff promiscuity 0 allmulti 0 minmtu 68 maxmtu 65535
vxlan id 10 remote 192.168.0.254 dev enp0s5 srcport 0 0 dstport 8472 ttl auto ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 tso_max_size 65536 tso_max_segs 65535 gro_max_size 65536
vxlan01をUPします。
[opc@instance01 ~]$ sudo ip link set vxlan0 up
Instance01にPrivate IPを割当てます。
[opc@instance01 ~]$ sudo ip addr add 172.16.1.1/24 broadcast 172.16.1.255 dev vxlan0
他のインスタンスと通信ができるようにネットワークブリッジを設定を行います。
[opc@instance01 ~]$ sudo bridge fdb append 00:00:00:00:00:00 dev vxlan0 dst 192.168.0.180
[opc@instance01 ~]$ sudo bridge fdb append 00:00:00:00:00:00 dev vxlan0 dst 192.168.0.110
instance02
下記の設定を投入します。
[opc@instance02 ~]$ sudo ip link add vxlan0 type vxlan id 10 remote 192.168.0.180 dstport 8472 dev enp0s5
[opc@instance02 ~]$ sudo ip link set vxlan0 up
[opc@instance02 ~]$ sudo ip addr add 172.16.1.2/24 broadcast 172.16.1.255 dev vxlan0
[opc@instance02 ~]$ sudo bridge fdb append 00:00:00:00:00:00 dev vxlan0 dst 192.168.0.254
[opc@instance02 ~]$ sudo bridge fdb append 00:00:00:00:00:00 dev vxlan0 dst 192.168.0.110
instance03
下記の設定を投入します。
[opc@instance03 ~]$ sudo ip link add vxlan0 type vxlan id 10 remote 192.168.0.110 dstport 8472 dev enp0s5
[opc@instance03 ~]$ sudo ip link set vxlan0 up
[opc@instance03 ~]$ sudo ip addr add 172.16.1.3/24 broadcast 172.16.1.255 dev vxlan0
[opc@instance03 ~]$ sudo bridge fdb append 00:00:00:00:00:00 dev vxlan0 dst 192.168.0.254
[opc@instance03 ~]$ sudo bridge fdb append 00:00:00:00:00:00 dev vxlan0 dst 192.168.0.110
ブロードキャスト通信の疎通確認
Pythonで作成したブロードキャストアプリケーションを利用してVXLAN（172.16.1.0/24）の疎通確認を行います。
送信プログラム（Instance01から実行）
sender.py
from socket import socket, AF_INET, SOCK_DGRAM,SOL_SOCKET, SO_BROADCAST
import sys
HOST = ''
PORT = 50001
ADDRESS = "172.16.1.255" # 送信先にVXLANのBroadcastアドレスを指定
s = socket(AF_INET, SOCK_DGRAM)
s.setsockopt(SOL_SOCKET, SO_BROADCAST, 1)
#s.bind((HOST, PORT))
while True:
msg = input("> ")
s.sendto(msg.encode(), (ADDRESS, PORT))
if msg == "\q":
break
s.close()
sys.exit
受信プログラム（Instance01, Instance02, Instance03から実行）
receiver.py
from socket import socket, AF_INET, SOCK_DGRAM
import sys
HOST = ""
PORT = 50001
s = socket(AF_INET, SOCK_DGRAM)
s.bind((HOST, PORT))
while True:
msg, address = s.recvfrom(8192)
if msg.decode("utf-8") == "\q":
print("Sender is closed")
break
print("message:", msg.decode("utf-8"), "\nfrom:", address[0])
s.close()
sys.exit()
実行結果
参考情報
https://tech-mmmm.blogspot.com/2017/10/vxlancentos-7vxlan.html
https://ameblo.jp/oyasai10/entry-10590541669.html