■ 目的
Transit Gateway(TGW)を使用すれば、複数の VPC および Direct Connect(DX) や VPNを使用してオンプレミスネットワークを相互接続できます。
既存AWSとオンプレミスを専用線やVPNで接続している環境に、TGWから足を一本出して、TGWをHubとしてオンプレミスから、他Network、他Cloudへ接続できます。
ということで、前回AWSとオンプレミスにVPN接続している環境のTGWから専用線(Direct Connect + Megaport + FastConnect)でOracle Cloud Infrastructure(OCI)へ接続して、TGW経由してオンプレミスとOCIを通信できるようにしてみてみます
この手順では、Network の Route経路は BGPで伝搬しあうので、オンプレミス側のCPEには手を加える必要はありません。
ちょこっと従量課金で数時間、追加接続してみてみます。
■ 構成
AWSとオンプレミスの構成は前回の手順で構成しておきます。
・参考:YAMAHA NVR700W から AWS Transit Gateway経由で IPSec VPN接続してみてみた
今回は、既存TGW と Megaport Cloud Router（MCR）を使用して、AWS Direct Connect と OCI FastConnectをマルチ・クラウド接続してみてみます。
■ OCI：FastConnect作成
(1) OCI Webコンソール
上部にある Regionを、'Japan Central(Osaka)'へ設定し、
左ペインにある [ネットワーキング] > [FastConnect]をクリック
(2) FastConnt接続画面
[FastConnectの作成]をクリック
(3) 接続の作成:接続タイプ画面
以下のように設定し、[次]をクリック
- 接続タイプ: FastConnectパートナー
- パートナー: Megaport: Service
(4) 接続の作成:構成画面
以下のように設定し、[作成]をクリック
- 名前: 任意の名前を設定
- コンパートメント： 作成する コンパートメントを設定
- 仮想回線タイプ：[プライベート仮想回線]を選択
- 動的ルーティング・ゲートウェイ：接続するDRGを選択
- プロビジョニングされた帯域幅：設定したい帯域を選択
- 顧客BGP IPアドレス: /30 または/31の MCR側BGP用ピアIPアドレスを設定
- Oracle BGP IPアドレス：'顧客BGP IPアドレス'と対になるOCI側のIPアドレスを設定
- 顧客BGP ASN：Megaport MCRのASN'133937'を設定
(5) 接続が作成されました画面
「OCID」をコピーします。
この「OCID」を使用してMCRと接続します
VCのアイコンは、プロバイダ保留中のためオレンジ色になります
MCR側で設定し開通するとグリーン色になります
■ Megaport: MCR作成
以下URLで事前に作成したユーザーアカウントでログインしMCRを作成していきます
(1) Megaport Webコンソール
Megaport：https://www.megaport.com/ へLogin
(2) Megaport Service 画面
[Service]タブ > 右上にある[Create MCR]をクリック
(3) New MCR:Select Location画面
Select MCR LocationからMCRを配置するRegionとData Centerを選択し、[Next]をクリック
- Region: AWSとOCI近郊のRegionを選択
- Location: AWSとOCI近郊のLocationを選択
(4) New MCR:Configure画面
以下のように設定し、[Next]をクリック
- Rate Limit: MCRの帯域を選択(この帯域範囲内から、各Cloud接続へ帯域を割り当てていきます)
- MCR Name: MCRの名前を設定
- MCR ASN: MCRのデフォルトASN 133937を設定
※ 今回Rate Limitは、AWSとOCIそれぞれ1GBづつ帯域設定するので、2GB以上のRate Limitを設定しておきます
(5) Summary画面
設定内容を確認し、問題なければ[Add MCR]をクリック
■ Megaport: VXC作成
OCI,AWSをMCRに接続するためのVirtual Cross Connect（VXC）を作成します。
● MCRとOCI接続VXC作成
Megaport Webコンソールから MCRとOCIで作成したFastCOnnectを接続するVXCを作成します
(1) Service画面
Add Connection欄にある[Oracle Cloud]をクリック
(2) New Connection:Select Port画面
以下のように設定し、[Next]をクリック
- Select Provider: [Oracle Cloud]を選択
- Oracle Virtual Circuit ID: OCIの「FastConnect」作成で発行された[OCID]を記入
- Choose from available Oracle Ports: 1本目は[Primary]を選択、冗長用途の２本目は[Secondary]を選択
(3) New Connection：Connection Details画面
以下項目を設定し、[Next]をクリック
・Name your Connection: 接続名を設定
・Rate Limit: 作成したRate Limitの帯域を設定
※ここでの帯域は、Azureと揃えるため50Mbpsを設定
(5) New Connection：MCR A End画面
以下を設定し、その横にある[Add]をクリック
- IP address including subnet mask: OCI FastConnectで設定した'顧客BGP IPアドレス'を設定
(6) New Connection：MCR A End +Add画面
BGP Connections項にある[＋Add GBP Connection]をクリック
(7) BGP Connection画面
以下項目を設定し、[Add]をクリック
- Local IP: 前画面で設定したIPを選択
- Peer IP: OCI FastConnectで設定した 'OCI側のBGPピアIPアドレス'を設定
- Peer ASN: OCIのASN '31898'を設定
(8) New Connection：BGP Connections画面
設定したBGP設定内容を確認し、問題なければ、[Next]をクリック
(9) New Connection：Summary画面
設定項目を確認し、問題なければ、[Add VXC]をクリック
● MCRとAWS接続VXC作成
(1) Services画面
作成したMCRの欄にある[+Connection]をクリック
(2) New Connection:Select Port画面
Select Providerから、[Amazon Web Sercvises]を選択
AWS Connection Type項目は以下のように設定し、[Next]をクリック
- AWS Connection Type: [Hosted Connection]を選択
- Select Destination Port: AWSとOCIに近い場所を選択、ここでは[Equinix DA1]を選択
(3) Conection Details画面
以下内容を設定し、[Next]をクリック
- Name your connection: 任意の名前を設定
- Rate Limit : DirectConnectの帯域を設定
(4) MCR A End
[Next]をクリック
(5) Cloud Derails画面
- AWS Connection Name: 任意の名前を設定
- AWS Account ID: AWSの契約しているAccountIDを設定
(6) Summary画面
内容を確認し、[Add VXC]をクリック
● Megaport Order
(1) Sercvice画面
左ペインにある [Order]をクリック
(2) Order Service画面
内容を確認し、[Order Now]をクリック
(3) Order完了
Orderが完了し、アイコンが緑色になればActivate完了
■ OCI FastConnect Status確認
FastConnect画面へ遷移し、以下状態が緑色であることを確認
- ライフサイクル状態: プロビジョニング済
- BGP状態: 稼働中
■ AWS Direct Connect設定
● Direct Connect Gateway作成
(1) Direct Connectゲートウェイ画面
[Direct Connect] > [Direct Connectゲートウェイ]をクリックし、[Direct Connectゲートウェイを作成する]をクリック
(2) Direct Connectゲートウェイを作成する画面
以下内容を設定し、[Direct Connectゲートウェイを作成する]をクリック
- 名前: 任意の名前を設定
- Amazon側のASN: 他と重複しないPrivate ASNを設定
(3) Direct Connectゲートウェイを作成完了
● Transit GatewayとDirect Connect Gatewayの関連付け
(1) トランジットゲートウェイの関連付け
[Direct Connect] > [トランジットゲートウェイ]をクリックし、[Direct Connectゲートウェイを関連付ける]をクリック
(2) Direct Connectゲーウェイの関連付ける画面
以下内容を設定し、[Direct Connectゲートウェイを関連付ける]をクリック
- アカウント所有者: ここでは[マイアカウント]を選択
- Direct Connectゲートウェイ: 作成したDirect Connectゲートウェイを選択
- 許可されたプレフィックス: Direct Connect通して対抗へBGP伝搬する静的プレフィックスを設定
※ ここでのBGP伝搬するプレフィックスは、以下を設定して、AWS VPCとオンプレミスのNetworkをOCIと通信できるように設定
(3) Direct Connectゲーウェイの関連付け完了
● 接続設定
[Direct Connect] > [接続]をクリックし、接続画面を表示
(1) Direct Connect 接続画面
MegaportでAWSのVXCを作成すると、AWS側に接続が作成されます
作成された接続のIDをクリック
(2) 接続 承認
承認して Direct ConnectをActivateします
[承認する]をクリック
(8) ホスト接続を承認する
承認する場合、[承認する]をクリック
(9)
状態が"available"になればActivate完了
● 仮想インターフェース Transit VIF作成
承認してActicateされた接続に仮想インターフェースを作成します
ここでは、Transit Gatewayへ接続するTransit VIFとして作成します
(1) 接続画面
[仮想インターフェースを作成する]をクリック
(2) 仮想インターフェースを作成する画面
以下内容を設定し、[仮想インターフェースを作成する]をクリック
- タイプ: トランジット
- 仮想インターフェース名: 任意の名前を設定
- 接続: 前項で承認した接続を選択
- VLAN: 自動で採番された番号をそのまま使用
- BGP ASN: MegaportのBGP ASN "133937"を設定
(3) ピアリング確認
仮想インターフェースを作成すると、以下画面のようにピアリング項目に仮想インターフェースが作成されます
次に、MegaportとBGP接続する設定をするために、以下ピアリング情報をメモして、MegaportのVXCへ設定しBGP疎通できるようにします
・メモ情報
- BGP認証キー: Megaport VXCへ設定する認証するキー
- ルーターのピアIP: Megaport側に設定するBGP Peer IP
- AmazonルーターのピアIP: AWS側のBGP Peer IP
■ Megaport VXCへ AWS BGP設定
(1) Megaport画面
Megaport画面へ遷移し、作成したAWS 接続(VXC)の [歯車アイコン]をクリック
(2) Config A End画面
Config A End画面まで[次へ]をクリックし、以下内容を設定し、右横の[+Add]をクリック
- IP address including subnet mask: メモした「AWS側のBGP Peer IP」を設定
(3) Config A End: MCR Connection Detail画面
[+ Add BGP Connections]をクリック
(4) BGP Connection画面
メモしておいたAWS側のピアリング情報を使用して以下内容を設定し、[Add]をクリック
- Local IP: AWS側のBGP Peer IPを設定
- Peer IP: Megaport側に設定するBGP Peer IP
- Peer ASN: AWS側 Direct ConnectのASNを設定
- BGP Auth: BGP認証キーを設定
(5) Config A End画面
設定した内容を確認し、[Save]をクリックして保存
[Save]をクリックすると数分で内容が反映されます。
[Save]をクリックして保存したら、[Next]をクリック
(6) Connection Detail画面
以下ステータス項目を確認し、グリーン色になっていることを確認し。[Close]をクリック
・確認ステータス
- Provisionig Status
- Service Status
- BGP IP Address
■ 仮想インターフェース Transit VIFステータス確認
(1) ピアリング画面
以下ステータス項目を確認し、グリーン色になっていることを確認
・確認ステータス
- 状態
- BGPステータス
■ オンプレミスBGP ルーター確認
Transit VIFが作成されステータスがUPしたので、AWS VPCとOCIのNertworkがBGPにより、Transit Gatewayからオンプレミスへ伝搬されます。
ということで、オンプレミスBGP ルーターで ruteを確認
Route確認
以下Routemが追加されていることを確認
・AWS側
172.31.0.0/16
172.32.0.0/16
・OCI側
10.10.0.0/24
# show ip route
Destination Gateway Interface Kind Additional Info.
default 100.100.100.100 WAN1(PDP) static
10.10.0.0/24 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
169.254.141.152/30 - TUNNEL[2] implicit
169.254.154.136/30 - TUNNEL[1] implicit
172.31.0.0/16 169.254.141.153 TUNNEL[2] BGP path=64512
172.32.0.0/16 169.254.141.153 TUNNEL[2] BGP path=64512
192.168.0.0/24 192.168.0.1 LAN1 implicit
100.0.0.0/8 100.100.100.101 WAN1 implicit
● OCI Service GatewayでのOSN Route追加
OCIのTransit Routingの機能により、Oracle Services Network内にあるObject Storge,Autonomous DatabaseなどのPublic ServiceのアドレスをOn-Premises NetworkへBGPで伝搬できます。
ということで、この設定をした時の show ip routeものせておきます
・参考: Transit Routing + IPSec VPN / FastConnectで Object Storage, Autonomous Databaseへ接続してみてみた
# show ip route
Destination Gateway Interface Kind Additional Info.
default 100.100.100.100 WAN1(PDP) static
10.10.0.0/24 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
118.238.201.33/32 100.100.100.100 WAN1 temporary
129.213.0.128/25 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
129.213.2.128/25 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
129.213.4.128/25 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
130.35.16.0/22 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
130.35.96.0/21 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
130.35.144.0/22 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
130.35.200.0/22 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
134.70.24.0/21 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
134.70.32.0/22 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
138.1.48.0/21 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
140.91.10.0/23 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
140.91.12.0/22 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
147.154.0.0/19 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
147.154.32.0/25 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456 31898
169.254.141.152/30 - TUNNEL[2] implicit
169.254.154.136/30 - TUNNEL[1] implicit
172.31.0.0/16 169.254.141.153 TUNNEL[2] BGP path=64512
172.32.0.0/16 169.254.141.153 TUNNEL[2] BGP path=64512
192.168.0.0/24 192.168.0.1 LAN1 implicit
192.168.254.8/30 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456
192.168.255.4/30 169.254.141.153 TUNNEL[2] BGP path=64512 65534 23456
100.0.0.0/8 100.100.100.101 WAN1 implicit
■ 接続確認
● OCI --> AWS TransitGW --> On-Premises 接続確認
(1) ssh接続確認
[opc@ashburn-inst01 ~]$ ssh -i id_rsa onp@192.168.100.250 hostname
MacBook
(2) traceroute経路確認
[opc@ashburn-inst01 ~]$ sudo traceroute -I 192.168.100.250
traceroute to 192.168.100.250 (192.168.100.250), 30 hops max, 60 byte packets
1 140.91.196.117 (140.91.196.117) 0.163 ms 0.145 ms 0.143 ms
2 192.168.254.9 (192.168.254.9) 0.423 ms 0.431 ms 0.429 ms
3 169.254.255.21 (169.254.255.21) 30.951 ms 30.968 ms 31.000 ms
4 * * *
5 169.254.3.2 (169.254.3.2) 1269.335 ms 1275.945 ms 1282.945 ms
6 169.254.141.154 (169.254.141.154) 1288.168 ms * *
7 * 192.168.100.250 (192.168.100.250) 1277.702 ms 1304.450 ms
● OCI --> AWS VPC-172.31.0.0/16 接続確認
(1) ssh接続確認
[opc@ashburn-inst01 ~]$ ssh -i AWS_EC2.pem ec2-user@172.31.0.11 hostname
ip-172-31-0-11.ec2.internal
(2) traceroute経路確認
[opc@ashburn-inst01 ~]$ sudo traceroute -I 172.31.0.11
traceroute to 172.31.0.11 (172.31.0.11), 30 hops max, 60 byte packets
1 140.91.196.83 (140.91.196.83) 0.164 ms 2.992 ms 3.011 ms
2 192.168.254.9 (192.168.254.9) 0.457 ms 0.469 ms 0.471 ms
3 169.254.255.21 (169.254.255.21) 31.842 ms 31.918 ms 31.922 ms
4 * * *
5 172.31.0.11 (172.31.0.11) 64.219 ms 64.240 ms 64.283 ms
● OCI --> AWS VPC-172.32.0.0/16 接続確認
(1) ssh接続確認
[opc@ashburn-inst01 ~]$ ssh -i AWS_EC2.pem ec2-user@172.32.0.22 hostname
ip-172-32-0-22.ec2.internal
(2) traceroute経路確認
[opc@ashburn-inst01 ~]$ sudo traceroute -I 172.32.0.22
traceroute to 172.32.0.22 (172.32.0.22), 30 hops max, 60 byte packets
1 140.91.196.154 (140.91.196.154) 0.177 ms 0.151 ms 0.139 ms
2 192.168.254.9 (192.168.254.9) 0.491 ms 0.498 ms 0.497 ms
3 169.254.255.21 (169.254.255.21) 30.977 ms 30.988 ms 31.020 ms
4 * * *
5 172.32.0.22 (172.32.0.22) 63.744 ms 63.757 ms 63.754 ms
● On-Premises --> AWS TrangitGW --> OCI 接続確認
(1) ssh接続確認
[onp@MacBook:~]$ ssh -i id_rsa opc@10.10.0.2 hostname
ashburn-inst01
(2) traceroute経路確認
[onp@MacBook:~]$ sudo traceroute -I 10.10.0.2
traceroute to 10.10.0.2 (10.10.0.2), 30 hops max, 60 byte packets
1 setup.netvolante.jp (192.168.100.1) 0.291 ms 0.236 ms 0.247 ms
2 * * *
3 169.254.255.1 (169.254.255.1) 272.054 ms 276.146 ms 276.092 ms
4 169.254.255.21 (169.254.255.21) 316.146 ms 319.963 ms 327.776 ms
5 169.254.255.22 (169.254.255.22) 361.839 ms 373.655 ms 377.585 ms
6 140.91.196.51 (140.91.196.51) 377.529 ms 409.678 ms 413.609 ms
7 10.10.0.2 (10.10.0.2) 427.790 ms 292.284 ms 288.214 ms
■ 参考
● Megaport
・ Megaport
・ Megaport Enabled Locations
・ Simple, Scalable Pricing
・ Network Latency: Data for Megaport’s Network Latency Times
・ Connecting to AWS Direct Connect
・ Connecting to Oracle Cloud Infrastructure FastConnect
● OCI
・ FastConnectの接続モデル
・ FastConnect - Oracle Cloud Portal
● AWS
・ “共有型”AWS DirectConnectでも使えるAWS Transit Gateway
・ AWS Transit Gateway - Awsstatic
・ Site-to-Site VPN のクォータ
・ トランジットゲートウェイのクォータ