■ 目的

Transit Gateway(TGW)を使用すれば、複数の VPC および Direct Connect(DX) や VPNを使用してオンプレミスネットワークを相互接続できます。
既存AWSとオンプレミスを専用線やVPNで接続している環境に、TGWから足を一本出して、TGWをHubとしてオンプレミスから、他Network、他Cloudへ接続できます。

ということで、前回AWSとオンプレミスにVPN接続している環境のTGWから専用線(Direct Connect + Megaport + FastConnect)でOracle Cloud Infrastructure(OCI)へ接続して、TGW経由してオンプレミスとOCIを通信できるようにしてみてみます
この手順では、Network の Route経路は BGPで伝搬しあうので、オンプレミス側のCPEには手を加える必要はありません。
ちょこっと従量課金で数時間、追加接続してみてみます。

■ 構成

AWSとオンプレミスの構成は前回の手順で構成しておきます。
・参考:YAMAHA NVR700W から AWS Transit Gateway経由で IPSec VPN接続してみてみた

今回は、既存TGW と Megaport Cloud Router（MCR）を使用して、AWS Direct Connect と OCI FastConnectをマルチ・クラウド接続してみてみます。

■ OCI：FastConnect作成

(1) OCI Webコンソール
上部にある Regionを、'Japan Central(Osaka)'へ設定し、
左ペインにある [ネットワーキング] > [FastConnect]をクリック

(2) FastConnt接続画面
[FastConnectの作成]をクリック

(3) 接続の作成:接続タイプ画面
以下のように設定し、[次]をクリック

- 接続タイプ: FastConnectパートナー
- パートナー: Megaport: Service

(4) 接続の作成:構成画面
以下のように設定し、[作成]をクリック

- 名前: 任意の名前を設定
- コンパートメント： 作成する コンパートメントを設定
- 仮想回線タイプ：[プライベート仮想回線]を選択
- 動的ルーティング・ゲートウェイ：接続するDRGを選択
- プロビジョニングされた帯域幅：設定したい帯域を選択
- 顧客BGP IPアドレス: /30 または/31の MCR側BGP用ピアIPアドレスを設定
- Oracle BGP IPアドレス：'顧客BGP IPアドレス'と対になるOCI側のIPアドレスを設定
- 顧客BGP　ASN：Megaport MCRのASN'133937'を設定

(5) 接続が作成されました画面
「OCID」をコピーします。
この「OCID」を使用してMCRと接続します

VCのアイコンは、プロバイダ保留中のためオレンジ色になります
MCR側で設定し開通するとグリーン色になります

■ Megaport: MCR作成

以下URLで事前に作成したユーザーアカウントでログインしMCRを作成していきます

(1) Megaport Webコンソール
Megaport：https://www.megaport.com/ へLogin

(2) Megaport Service 画面
　[Service]タブ > 右上にある[Create MCR]をクリック

(3) New MCR:Select Location画面
Select MCR LocationからMCRを配置するRegionとData Centerを選択し、[Next]をクリック

- Region: AWSとOCI近郊のRegionを選択
- Location: AWSとOCI近郊のLocationを選択

(4) New MCR:Configure画面
以下のように設定し、[Next]をクリック

- Rate Limit: MCRの帯域を選択(この帯域範囲内から、各Cloud接続へ帯域を割り当てていきます)
- MCR Name: MCRの名前を設定
- MCR ASN: MCRのデフォルトASN 133937を設定

※ 今回Rate Limitは、AWSとOCIそれぞれ1GBづつ帯域設定するので、2GB以上のRate Limitを設定しておきます

(5) Summary画面
　設定内容を確認し、問題なければ[Add MCR]をクリック

■ Megaport: VXC作成

OCI,AWSをMCRに接続するためのVirtual Cross Connect（VXC）を作成します。

● MCRとOCI接続VXC作成

Megaport Webコンソールから MCRとOCIで作成したFastCOnnectを接続するVXCを作成します

(1) Service画面
Add Connection欄にある[Oracle Cloud]をクリック

(2) New Connection:Select Port画面
以下のように設定し、[Next]をクリック

- Select Provider: [Oracle Cloud]を選択
- Oracle Virtual Circuit ID: OCIの「FastConnect」作成で発行された[OCID]を記入
- Choose from available Oracle Ports: 1本目は[Primary]を選択、冗長用途の２本目は[Secondary]を選択

(3) New Connection：Connection Details画面
以下項目を設定し、[Next]をクリック

・Name your Connection: 接続名を設定
・Rate Limit: 作成したRate Limitの帯域を設定 
　※ここでの帯域は、Azureと揃えるため50Mbpsを設定

(5) New Connection：MCR A End画面
以下を設定し、その横にある[Add]をクリック

- IP address including subnet mask: OCI FastConnectで設定した'顧客BGP IPアドレス'を設定

(6) New Connection：MCR A End +Add画面
BGP Connections項にある[＋Add GBP Connection]をクリック

(7) BGP Connection画面
以下項目を設定し、[Add]をクリック

- Local IP: 前画面で設定したIPを選択
- Peer IP: OCI FastConnectで設定した 'OCI側のBGPピアIPアドレス'を設定
- Peer ASN: OCIのASN '31898'を設定

(8) New Connection：BGP Connections画面
設定したBGP設定内容を確認し、問題なければ、[Next]をクリック

(9) New Connection：Summary画面　
設定項目を確認し、問題なければ、[Add VXC]をクリック

● MCRとAWS接続VXC作成

(1) Services画面
作成したMCRの欄にある[+Connection]をクリック

(2) New Connection:Select Port画面
Select Providerから、[Amazon Web Sercvises]を選択
AWS Connection Type項目は以下のように設定し、[Next]をクリック

- AWS Connection Type: [Hosted Connection]を選択
- Select Destination Port: AWSとOCIに近い場所を選択、ここでは[Equinix DA1]を選択

(3) Conection Details画面
以下内容を設定し、[Next]をクリック

- Name your connection: 任意の名前を設定
- Rate Limit : DirectConnectの帯域を設定

(4) MCR A End
[Next]をクリック

(5) Cloud Derails画面

- AWS Connection Name: 任意の名前を設定
- AWS Account ID: AWSの契約しているAccountIDを設定

(6) Summary画面
内容を確認し、[Add VXC]をクリック

● Megaport Order

(1) Sercvice画面
左ペインにある [Order]をクリック

(2) Order Service画面
内容を確認し、[Order Now]をクリック

(3) Order完了
Orderが完了し、アイコンが緑色になればActivate完了

■ OCI FastConnect Status確認

FastConnect画面へ遷移し、以下状態が緑色であることを確認

- ライフサイクル状態: プロビジョニング済
- BGP状態: 稼働中

■ AWS Direct Connect設定

● Direct Connect Gateway作成

(1) Direct Connectゲートウェイ画面
[Direct Connect] > [Direct Connectゲートウェイ]をクリックし、[Direct Connectゲートウェイを作成する]をクリック

(2) Direct Connectゲートウェイを作成する画面
以下内容を設定し、[Direct Connectゲートウェイを作成する]をクリック

- 名前: 任意の名前を設定
- Amazon側のASN: 他と重複しないPrivate ASNを設定

(3) Direct Connectゲートウェイを作成完了

● Transit GatewayとDirect Connect Gatewayの関連付け

(1) トランジットゲートウェイの関連付け
[Direct Connect] > [トランジットゲートウェイ]をクリックし、[Direct Connectゲートウェイを関連付ける]をクリック

(2) Direct Connectゲーウェイの関連付ける画面
以下内容を設定し、[Direct Connectゲートウェイを関連付ける]をクリック

- アカウント所有者: ここでは[マイアカウント]を選択
- Direct Connectゲートウェイ: 作成したDirect Connectゲートウェイを選択
- 許可されたプレフィックス: Direct Connect通して対抗へBGP伝搬する静的プレフィックスを設定

※ ここでのBGP伝搬するプレフィックスは、以下を設定して、AWS VPCとオンプレミスのNetworkをOCIと通信できるように設定

(3) Direct Connectゲーウェイの関連付け完了

● 接続設定

[Direct Connect] > [接続]をクリックし、接続画面を表示

(1) Direct Connect 接続画面
MegaportでAWSのVXCを作成すると、AWS側に接続が作成されます
作成された接続のIDをクリック

(2) 接続承認
承認して Direct ConnectをActivateします
[承認する]をクリック

(8) ホスト接続を承認する
承認する場合、[承認する]をクリック

(9)
状態が"available"になればActivate完了

● 仮想インターフェース Transit VIF作成

承認してActicateされた接続に仮想インターフェースを作成します
ここでは、Transit Gatewayへ接続するTransit VIFとして作成します

(1) 接続画面
[仮想インターフェースを作成する]をクリック

(2) 仮想インターフェースを作成する画面
以下内容を設定し、[仮想インターフェースを作成する]をクリック

- タイプ: トランジット
- 仮想インターフェース名: 任意の名前を設定
- 接続:  前項で承認した接続を選択
- VLAN: 自動で採番された番号をそのまま使用
- BGP ASN: MegaportのBGP ASN "133937"を設定

(3) ピアリング確認
仮想インターフェースを作成すると、以下画面のようにピアリング項目に仮想インターフェースが作成されます
次に、MegaportとBGP接続する設定をするために、以下ピアリング情報をメモして、MegaportのVXCへ設定しBGP疎通できるようにします

・メモ情報
　　- BGP認証キー: Megaport VXCへ設定する認証するキー
　　- ルーターのピアIP: Megaport側に設定するBGP Peer IP
　　- AmazonルーターのピアIP: AWS側のBGP Peer IP

■ Megaport VXCへ AWS BGP設定

(1) Megaport画面
Megaport画面へ遷移し、作成したAWS 接続(VXC)の [歯車アイコン]をクリック

(2) Config A End画面
Config A End画面まで[次へ]をクリックし、以下内容を設定し、右横の[+Add]をクリック

- IP address including subnet mask: メモした「AWS側のBGP Peer IP」を設定

(3) Config A End: MCR Connection Detail画面
[+ Add BGP Connections]をクリック

(4) BGP Connection画面
メモしておいたAWS側のピアリング情報を使用して以下内容を設定し、[Add]をクリック

- Local IP: AWS側のBGP Peer IPを設定
- Peer IP: Megaport側に設定するBGP Peer IP
- Peer ASN: AWS側 Direct ConnectのASNを設定
- BGP Auth: BGP認証キーを設定

(5) Config A End画面
設定した内容を確認し、[Save]をクリックして保存
[Save]をクリックすると数分で内容が反映されます。
[Save]をクリックして保存したら、[Next]をクリック

(6) Connection Detail画面
以下ステータス項目を確認し、グリーン色になっていることを確認し。[Close]をクリック

・確認ステータス
　　- Provisionig Status
　　- Service Status
　　- BGP IP Address

■ 仮想インターフェース Transit VIFステータス確認

(1) ピアリング画面
以下ステータス項目を確認し、グリーン色になっていることを確認

・確認ステータス
　　- 状態
　　- BGPステータス

■ オンプレミスBGP ルーター確認

Transit VIFが作成されステータスがUPしたので、AWS VPCとOCIのNertworkがBGPにより、Transit Gatewayからオンプレミスへ伝搬されます。
ということで、オンプレミスBGP ルーターで ruteを確認

Route確認

以下Routemが追加されていることを確認

・AWS側
　172.31.0.0/16
　172.32.0.0/16
・OCI側
　10.10.0.0/24

# show ip route
    Destination         Gateway          Interface       Kind  Additional Info.
    default             100.100.100.100   WAN1(PDP)    static
	10.10.0.0/24        169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
    169.254.141.152/30  -                 TUNNEL[2]  implicit
    169.254.154.136/30  -                 TUNNEL[1]  implicit
    172.31.0.0/16       169.254.141.153   TUNNEL[2]       BGP  path=64512
    172.32.0.0/16       169.254.141.153   TUNNEL[2]       BGP  path=64512
    192.168.0.0/24    192.168.0.1          LAN1  implicit
    100.0.0.0/8         100.100.100.101        WAN1  implicit

● OCI Service GatewayでのOSN Route追加

OCIのTransit Routingの機能により、Oracle Services Network内にあるObject Storge,Autonomous DatabaseなどのPublic ServiceのアドレスをOn-Premises NetworkへBGPで伝搬できます。
ということで、この設定をした時の show ip routeものせておきます

・参考: Transit Routing + IPSec VPN / FastConnectで Object Storage, Autonomous Databaseへ接続してみてみた

# show ip route
	Destination         Gateway          Interface       Kind  Additional Info.
	default             100.100.100.100   WAN1(PDP)    static
	10.10.0.0/24        169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	118.238.201.33/32   100.100.100.100        WAN1 temporary
	129.213.0.128/25    169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	129.213.2.128/25    169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	129.213.4.128/25    169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	130.35.16.0/22      169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	130.35.96.0/21      169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	130.35.144.0/22     169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	130.35.200.0/22     169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	134.70.24.0/21      169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	134.70.32.0/22      169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	138.1.48.0/21       169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	140.91.10.0/23      169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	140.91.12.0/22      169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	147.154.0.0/19      169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	147.154.32.0/25     169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456 31898
	169.254.141.152/30  -                 TUNNEL[2]  implicit
	169.254.154.136/30  -                 TUNNEL[1]  implicit
	172.31.0.0/16       169.254.141.153   TUNNEL[2]       BGP  path=64512
	172.32.0.0/16       169.254.141.153   TUNNEL[2]       BGP  path=64512
	192.168.0.0/24      192.168.0.1          LAN1  implicit
	192.168.254.8/30    169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456
	192.168.255.4/30    169.254.141.153   TUNNEL[2]       BGP  path=64512 65534 23456
	100.0.0.0/8         100.100.100.101        WAN1  implicit

■ 接続確認

● OCI --> AWS TransitGW --> On-Premises 接続確認

(1) ssh接続確認

[opc@ashburn-inst01 ~]$ ssh -i id_rsa onp@192.168.100.250 hostname
	MacBook

(2) traceroute経路確認

[opc@ashburn-inst01 ~]$ sudo traceroute -I 192.168.100.250
	traceroute to 192.168.100.250 (192.168.100.250), 30 hops max, 60 byte packets
	1  140.91.196.117 (140.91.196.117)  0.163 ms  0.145 ms  0.143 ms
	2  192.168.254.9 (192.168.254.9)  0.423 ms  0.431 ms  0.429 ms
	3  169.254.255.21 (169.254.255.21)  30.951 ms  30.968 ms  31.000 ms
	4  * * *
	5  169.254.3.2 (169.254.3.2)  1269.335 ms  1275.945 ms  1282.945 ms
	6  169.254.141.154 (169.254.141.154)  1288.168 ms * *
	7  * 192.168.100.250 (192.168.100.250)  1277.702 ms  1304.450 ms

● OCI --> AWS VPC-172.31.0.0/16 接続確認

(1) ssh接続確認

[opc@ashburn-inst01 ~]$ ssh -i AWS_EC2.pem ec2-user@172.31.0.11 hostname
	ip-172-31-0-11.ec2.internal

(2) traceroute経路確認

[opc@ashburn-inst01 ~]$ sudo traceroute -I 172.31.0.11
	traceroute to 172.31.0.11 (172.31.0.11), 30 hops max, 60 byte packets
	1  140.91.196.83 (140.91.196.83)  0.164 ms  2.992 ms  3.011 ms
	2  192.168.254.9 (192.168.254.9)  0.457 ms  0.469 ms  0.471 ms
	3  169.254.255.21 (169.254.255.21)  31.842 ms  31.918 ms  31.922 ms
	4  * * *
	5  172.31.0.11 (172.31.0.11)  64.219 ms  64.240 ms  64.283 ms

● OCI --> AWS VPC-172.32.0.0/16 接続確認

(1) ssh接続確認

[opc@ashburn-inst01 ~]$ ssh -i AWS_EC2.pem ec2-user@172.32.0.22 hostname
	ip-172-32-0-22.ec2.internal

(2) traceroute経路確認

[opc@ashburn-inst01 ~]$ sudo traceroute -I 172.32.0.22
traceroute to 172.32.0.22 (172.32.0.22), 30 hops max, 60 byte packets
 1  140.91.196.154 (140.91.196.154)  0.177 ms  0.151 ms  0.139 ms
 2  192.168.254.9 (192.168.254.9)  0.491 ms  0.498 ms  0.497 ms
 3  169.254.255.21 (169.254.255.21)  30.977 ms  30.988 ms  31.020 ms
 4  * * *
 5  172.32.0.22 (172.32.0.22)  63.744 ms  63.757 ms  63.754 ms

● On-Premises --> AWS TrangitGW --> OCI 接続確認

(1) ssh接続確認

[onp@MacBook:~]$ ssh -i id_rsa  opc@10.10.0.2 hostname
	ashburn-inst01

(2) traceroute経路確認

[onp@MacBook:~]$ sudo  traceroute -I 10.10.0.2
	traceroute to 10.10.0.2 (10.10.0.2), 30 hops max, 60 byte packets
	1  setup.netvolante.jp (192.168.100.1)  0.291 ms  0.236 ms  0.247 ms
	2  * * *
	3  169.254.255.1 (169.254.255.1)  272.054 ms  276.146 ms  276.092 ms
	4  169.254.255.21 (169.254.255.21)  316.146 ms  319.963 ms  327.776 ms
	5  169.254.255.22 (169.254.255.22)  361.839 ms  373.655 ms  377.585 ms
	6  140.91.196.51 (140.91.196.51)  377.529 ms  409.678 ms  413.609 ms
	7  10.10.0.2 (10.10.0.2)  427.790 ms  292.284 ms  288.214 ms

■ 参考

● Megaport

　・ Megaport
　・ Megaport Enabled Locations
　・ Simple, Scalable Pricing
　・ Network Latency: Data for Megaport’s Network Latency Times
　・ Connecting to AWS Direct Connect
　・ Connecting to Oracle Cloud Infrastructure FastConnect

● OCI

　・ FastConnectの接続モデル
　・ FastConnect - Oracle Cloud Portal

● AWS

　・ “共有型”AWS DirectConnectでも使えるAWS Transit Gateway
　・ AWS Transit Gateway - Awsstatic
　・ Site-to-Site VPN のクォータ
　・トランジットゲートウェイのクォータ

AWS Transit Gateway経由でオンプレミスと Oracle Cloud をマルチクラウド接続してみてみた

■ 目的

■ 構成

■ OCI：FastConnect作成

■ Megaport: MCR作成

■ Megaport: VXC作成

● MCRとOCI接続VXC作成

● MCRとAWS接続VXC作成

● Megaport Order

■ OCI FastConnect Status確認

■ AWS Direct Connect設定

● Direct Connect Gateway作成

● Transit GatewayとDirect Connect Gatewayの関連付け

● 接続設定

● 仮想インターフェース Transit VIF作成

■ Megaport VXCへ AWS BGP設定

■ 仮想インターフェース Transit VIFステータス確認

■ オンプレミスBGP ルーター確認

Route確認

● OCI Service GatewayでのOSN Route追加

■ 接続確認

● OCI --> AWS TransitGW --> On-Premises 接続確認

(1) ssh接続確認

(2) traceroute経路確認

● OCI --> AWS VPC-172.31.0.0/16 接続確認

(1) ssh接続確認

(2) traceroute経路確認

● OCI --> AWS VPC-172.32.0.0/16 接続確認

(1) ssh接続確認

(2) traceroute経路確認

● On-Premises --> AWS TrangitGW --> OCI 接続確認

(1) ssh接続確認

(2) traceroute経路確認

■ 参考

● Megaport

● OCI

● AWS