■ 目的
Megaport は Network As A Service (NaaS)プロバイダーです。
Megaport Cloud Router(MCR)は、世界中の600を超える主要なデータセンターから、レイヤ3でのプライベート接続のための仮想ルーティング機能を備えており、日本のMegaportサービス拠点は既に21箇所あります
・@Tokyo CC1
・Equinix TY2
・Equinix TY4
・Colt東京塩浜
・Equinix OS1
・NTTデータ堂島
物理的なインフラがなくても、コストは必要帯域幅のみでクラウドからクラウドへの接続およびMegaport Network上のあらゆるプロバイダへ直接接続することができます。
ということで、MCR で AWS と Oracle Cloud Infrastructure (OCI) を Multicloud接続してみます。
■ 構成
東アメリカにあるAshburnへ配置されたMCRを使用し、AWS(us-east1:バージニア北部)とOCI(Ashburn)を接続してみてみます
![構成図AWS.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2F37b62647-9de2-1747-be2e-561c77083d57.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=0622374ff44ceda2258111a34f1cd9b1)
■ 手順概要
① Megaport側作業:MCR作成
② OCI側作業:FastConnect作成
③ Megaport側作業:MCRとOCI FastConnect接続
④ AWS側作業:Direct Connect作成
⑤ Megaport側作業:MCRとAWS Direct Connect接続
⑥ AWS側作業:仮想インターフェイス承認アクティブ化
⑦ 導通確認
■ Megaport:MCR作成
以下URLで事前に作成したユーザーアカウントでログインしMCRを作成していきます
① Megaport:https://www.megaport.com/ へLogin
② 「Service」タブから「Create MCR」をクリック
③ Select MCR LocationからMCRを配置するRegionとData Centerを選択し、[Next]をクリック
ここではEquinix DC2/6 Ashburn USを選択
④ MCRの設定項目を以下のように設定
帯域を(1G~10G)の範囲で選択します。
その帯域範囲内から、OCI、AWS接続への帯域幅を割り当てていきます
・Rate Limit: 帯域を選択(1G~10G)
・MCR Name: 名前を設定
・MCR ASN: MCRのパブリックASN 133937を設定
![MCR_追加02.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2F4bf2169d-c76b-066b-f4e2-506ed3d604c7.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=ccb059cf830eaaa119d017aa1c40f20f)
⑤Summary画面
設定を確認し、[Add MCR]をクリック
■ OCI:FastConnect作成
① Megaportを選択できるPhoenix等のRegionを選択し、
ネットワーキング>FastConnect画面から[接続の作成]をクリック
② 接続の作成画面
次のように設定し、[続行]をクリック
・接続タイプ:[Oracleプロバイダの使用]を選択
・プロバイダ:[Megaport Service]を選択
![FC01.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2Fe6f33999-948b-5783-04ef-df282f536dff.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=2f1105c895b110a6c82310e47819098e)
③ 接続の作成画面:次のように設定し、[続行]をクリック
・仮想回線タイプ:プライベート仮想回線を選択
・動的ルーティング・ゲートウェイ:接続するDRGを選択
・プロビジョニングされた帯域幅:必要な帯域を選択
・顧客BGP IPアドレス: /30 または/31のBGP用IPアドレスを設定
・Oracle BGP IPアドレス:顧客BGP IPアドレスと対になるIPアドレスを設定
・顧客BGP ASN:Megaport MCRのASN 133937を選択
![FC02.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2Ffc38243a-7fee-c8d4-0b50-ffae5eded95a.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=5b7b0c6e65386bbd3af4fcf142709b18)
④ 接続が作成されました画面
作成した仮想回線のOCIDが表示されるのでコピーします。
コピーしたOCIDはMCRと接続時に設定するIDとなります
![FC03説明.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2F36e5d6c3-c647-4f18-90ba-71f13b515997.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=8ac949d7ffa3a7a0f78853cfdb61f3ad)
⑤ 作成した仮想回線画面
プロバイダ保留中のためオレンジ色のアイコンになります
MCR側で設定し開通するとグリーン色になります
■ Megaport:MCRとOCI FastConnect接続
① Add Connection画面にある[Oracle Cloud]アイコンをクリック
② Oracle Configuration画面
以下の項目を設定し[Next]をクリック
・Oracle Virtual Circuit ID:FastConnect作成時に出力されたOCIDを記入
・Choose from available Orale Ports:接続するOCIのRegionを選択,
ここでは、OCI Phoenic Primary(BMC)を選択
冗長用途で2本目を接続する場合はSecondary(BMC)を選択します
③ Connection Details画面
以下のように必要項目を設定し[Next]をクリック
・Name your Connection: 接続名を設定
・Rate Limit: 作成したMCRの範囲内の帯幅を設定
④ MCR Connection Detail 画面
FastConnect作成時に設定した「顧客BGP IPアドレス」を設定し[Add]をクリック
⑤ BGP Connection画面
以下のように必要項目を設定し[Add]をクリック
・Local IP: MCR側のBGP IPを設定
・Peer IP: OCI側のBGP IPを設定
・Peer ASN: OCIの_ASN 31898を設定
・Override MCR ASN: 133937であることを確認
![2MCR_OCI04_3.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2Fab7a041c-5235-6de4-5385-ad5386e633e6.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=9fcfae1cd0a031b28dc581d5830af9d7)
⑤ Summary画面
設定項目を描き人して、[Add VXC]をクリック
■ AWS:Direct Connect作成
① AWS Direct Connect画面
[仮想インターフェースを作成する]をクリック
② 接続を作成する画面
次のように必要項目を設定し、[接続を作成する]をクリック
・接続の順序タイプ:ここでは1本接続したいため、[クラシック]を選択
・名前:接続名を設定
・ロケーション:ここでは、「Equinix DC2/DC11,Ashburn US]を選択
・ポート速度:必要な帯域を選択
・サービス・プロバイダー:[Megaport]を選択
![AWS01.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2F3d6e0e6c-bbc3-632a-3b10-708ff55655b8.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=d5e86a4858030259a26aef095a79413e)
■ Megaport:MCRとAWS DirectConnect接続
① Megaport側画面にある[+Connection]をクリック
② Select Type画面
[Cloud]アイコンをクリック
③ Select Provider画面
[AWS]をクリックし、接続するAWSのRegionを選択し[Next]をクリック
ここでは、Ashburnに近いUS East(N.Virginia)(us-east-1)を選択
④ Connection Details画面
以下のように必要項目を設定し[Next]をクリック
・Name your Connection: 接続名を設定
・Rate Limit: 作成したMCRの範囲内の帯域幅を設定
![3MCR_AWS04.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2F22f15660-a5d5-3c21-a8cc-9b533105fe06.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=31c1dac01fc371b37656f00f4be98bbf)
⑤ MCR Connection Detail 画面
[Next]をクリック
⑥ Connection details for AWS Service画面
次のように必要項目を設定し[Next]をクリック
・AWS Connection Name: 接続名を設定
・AWS Accout ID: AWSのAccout ID番号を設定
・Amazon ASN: 64512を設定
![3MCR_AWS06.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2F1c7d9561-995b-d594-bd3f-f3d2ec3b40af.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=43f3013bdb3226708d4199f8a9e25c5a)
⑦ Summary画面
設定項目を確認し、[Add VXC]をクリック
⑧ MCR接続画面
OCIとAWSが設定されていることと、月額費用を確認し、[Order]をクリック
⑨ Order Service
月額費用を確認し、[Order Now]をクリック
Deploying中・・・
■ AWS仮想インターフェイス・アクティブ化
AWS仮想インターフェイスをアクティブにするには以下手順を実施します
● Virchal Private Gatway作成
① [仮想プライベートゲートウェイ]画面
[AWS Direct Connect Gatway] > [仮想プライベートゲートウェイ]画面から、[仮想プライベートゲートウェイを作成する]をクリック
② 仮想プライベートゲートウェイの作成画面
以下設定を行い[仮想プライベートゲートウェイの作成]をクリック
ASN: [AmazonのデフォルトASN]を選択
![AWS-PGW02.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2Fee00c0e3-ed68-1e11-2cdd-e3aeaae6b824.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=702e4549d67270d6cd7f4eb73f5ef1bf)
③ アタッチ
[仮想プライベートゲートウェイ]画面で作成された[仮想プライベートゲートウェイ]を選択し、[VCNにアタッチ]をクリック
④ VCNにアタッチ画面
アタッチするVPCを選択し、[はい、アタッチします]をクリック
● 仮想インターフェイス設定
① 仮想インターフェイス作成確認
[AWS Direct Connect] > [仮想インターフェイス]画面にMegaport画面でAWS接続名で設定した名前の仮想インターフェイスが作成されてるのでクリック
③ 仮想インターフェイスを承諾する画面
以下設定を行い、[仮想インターフェイスを承諾]をクリック
ゲートウェイタイプ: [仮想プライベートゲートウェイ]を選択
仮想プライベートゲートウェイ: 作成した仮想プライベートゲートウェイを選択
![AWS-vc04.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2F1ff82170-969d-a441-caf6-ac9677ba30e2.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=a8dbb96a8f124a6f8408a3b8fbb007db)
④ 仮想インターフェイス状態確認
以下のように状態がグリーン色であることを確認
状態: available
BGPステータス: UP
![AWS-vc062.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2F7be77913-3d20-d891-4e70-db55d09af59b.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=7da18f7644d44d85d97254027336a82d)
■ OCI FastConnectアクティブ確認
OCI側はMCR側の設定が完了すると自動でアクティブ化されます
[Network] > [FastConnect] 画面で作成したFastCOnnectを選択し、以下状態がグリーン色であることを確認
Lifecycle State: Provisioned
BGP State: UP
■ Megaportステータス確認
![01.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2F751aba7d-a90f-682d-5af9-0c3a33d53f8a.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=2802e1333e8f90c8e5ed95f46df86675)
■ 各Cloudのルートとファイアーウォール設定
OCIとAWS間で疎通できるようにそれぞれのルートとファイアーウォール設定を行います
● OCI:ルート・テーブルとセキュリティ・リスト設定
① ルート・テーブル設定
OCIのVCN SubnetからAWS側CIDR 172.31.0.0/24へ通るよう設定
② セキュリティ・リスト設定
AWS側CIDR 172.31.0.0/24が通るように設定
● AWS:ルートとセキュリティグループ設定
① ルートテーブル設定
AWSの SubnetからOCI側CIDR 10.10.0.0/24へ通るよう設定
AWSの場合、OCIからBGPで伝搬されたルートが自動で反映されるので、反映されていることを確認
![01_RT.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F109087%2Fabafbcf0-4361-6d1a-5149-8c8378f8ea75.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=cd3d1f29929b5c4c062675ea77ac389d)
② セキュリティグループ設定
■ OCI-AWSインスタンス導通確認
各Cloud間で相互との通信が
● OCI --> AWS接続確認
①traceroute:経路確認
BGP IP(169.254.28.57)の経路で疎通していることを確認
[root@oci-inst01 opc]# traceroute 172.31.0.10
traceroute to 172.31.0.10 (172.31.0.10), 30 hops max, 60 byte packets
1 140.91.196.17 (140.91.196.17) 0.117 ms 140.91.196.23 (140.91.196.23) 0.078 ms 140.91.196.19 (140.91.196.19) 0.063 ms
2 192.168.255.1 (192.168.255.1) 0.762 ms 0.746 ms 0.723 ms
3 169.254.28.57 (169.254.28.57) 1.623 ms 1.601 ms 1.613 ms
4 * 172.31.0.10 (172.31.0.10) 1.776 ms 1.547 ms
② ping:疎通確認
pingが通ることを確認
[root@oci-inst01 opc]# ping 172.31.0.10 -c 3
PING 172.31.0.10 (172.31.0.10) 56(84) bytes of data.
64 bytes from 172.31.0.10: icmp_seq=1 ttl=245 time=8.57 ms
64 bytes from 172.31.0.10: icmp_seq=2 ttl=245 time=8.54 ms
64 bytes from 172.31.0.10: icmp_seq=3 ttl=245 time=8.57 ms
--- 172.31.0.10 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 8.540/8.562/8.573/0.015 ms
③ iperf3:帯域確認
今回は100Mで設定しているので、100M程度あることを確認
[root@oci-inst01 opc]# iperf3 -c 172.31.0.10
Connecting to host 172.31.0.10, port 5201
[ 4] local 10.10.0.2 port 44868 connected to 172.31.0.10 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 46.9 MBytes 393 Mbits/sec 24 624 KBytes
[ 4] 1.00-2.00 sec 11.2 MBytes 94.4 Mbits/sec 992 26.9 KBytes
[ 4] 2.00-3.00 sec 11.2 MBytes 94.4 Mbits/sec 148 39.6 KBytes
[ 4] 3.00-4.00 sec 11.2 MBytes 94.4 Mbits/sec 155 26.9 KBytes
[ 4] 4.00-5.00 sec 11.2 MBytes 94.4 Mbits/sec 184 26.9 KBytes
[ 4] 5.00-6.00 sec 12.5 MBytes 105 Mbits/sec 181 21.2 KBytes
[ 4] 6.00-7.00 sec 11.2 MBytes 94.4 Mbits/sec 143 29.7 KBytes
[ 4] 7.00-8.00 sec 11.2 MBytes 94.4 Mbits/sec 153 29.7 KBytes
[ 4] 8.00-9.00 sec 11.2 MBytes 94.4 Mbits/sec 164 25.5 KBytes
[ 4] 9.00-10.00 sec 11.2 MBytes 94.4 Mbits/sec 186 21.2 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 149 MBytes 125 Mbits/sec 2330 sender
[ 4] 0.00-10.00 sec 146 MBytes 123 Mbits/sec receiver
iperf Done.
④ ssh接続確認
sshでAWSインスタンスへ接続できることを確認
[root@oci-inst01 opc]# ssh -i AWS_east1.pem ec2-user@172.31.0.10 hostname
ip-172-31-0-10.ec2.internal
● AWS --> OCI接続確認
① traceroute:経路確認
BGP IP(169.254.28.57)の経路で疎通していることを確認
[root@ip-172-31-0-10 ec2-user]# traceroute 10.150.0.3
traceroute to 10.150.0.3 (10.150.0.3), 30 hops max, 60 byte packets
1 169.254.255.21 (169.254.255.21) 1.279 ms 169.254.255.5 (169.254.255.5) 61.157 ms 169.254.255.21 (169.254.255.21) 1.446 ms
2 169.254.28.57 (169.254.28.57) 1.690 ms 1.687 ms 1.706 ms
3 169.254.28.58 (169.254.28.58) 1.439 ms 1.447 ms 1.459 ms
4 * * *
5 ip-10-150-0-3.ec2.internal (10.150.0.3) 3.319 ms 3.228 ms 3.235 ms
② ping:疎通確認
pingが通ることを確認
[root@ip-172-31-0-10 ec2-user]# ping 10.150.0.3 -c 3
PING 10.150.0.3 (10.150.0.3) 56(84) bytes of data.
64 bytes from 10.150.0.3: icmp_seq=1 ttl=62 time=9.35 ms
64 bytes from 10.150.0.3: icmp_seq=2 ttl=62 time=9.41 ms
64 bytes from 10.150.0.3: icmp_seq=3 ttl=62 time=9.33 ms
--- 10.150.0.3 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 9.338/9.366/9.410/0.031 ms
③ iperf3:帯域確認
今回は100Mで設定しているので、100M程度あることを確認
[root@ip-172-31-0-10 ec2-user]# iperf3 -c 10.150.0.3
Connecting to host 10.150.0.3, port 5201
[ 4] local 172.31.0.10 port 53228 connected to 10.150.0.3 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 66.3 MBytes 556 Mbits/sec 208 44.7 KBytes
[ 4] 1.00-2.00 sec 11.3 MBytes 95.0 Mbits/sec 162 29.8 KBytes
[ 4] 2.00-3.00 sec 11.3 MBytes 95.0 Mbits/sec 158 20.3 KBytes
[ 4] 3.00-4.00 sec 11.3 MBytes 95.0 Mbits/sec 112 62.4 KBytes
[ 4] 4.00-5.00 sec 11.3 MBytes 95.0 Mbits/sec 144 33.9 KBytes
[ 4] 5.00-6.00 sec 11.8 MBytes 98.6 Mbits/sec 130 55.6 KBytes
[ 4] 6.00-7.00 sec 11.3 MBytes 95.0 Mbits/sec 139 44.7 KBytes
[ 4] 7.00-8.00 sec 11.3 MBytes 95.0 Mbits/sec 133 62.4 KBytes
[ 4] 8.00-9.00 sec 11.3 MBytes 95.0 Mbits/sec 167 25.8 KBytes
[ 4] 9.00-10.00 sec 11.3 MBytes 95.0 Mbits/sec 149 29.8 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 169 MBytes 141 Mbits/sec 1502 sender
[ 4] 0.00-10.00 sec 168 MBytes 141 Mbits/sec receiver
iperf Done.
④ ssh接続確認
sshでOCIインスタンスへ接続できることを確認
[root@ip-172-31-0-10 ec2-user]# ssh -i id_rsa opc@10.10.0.2 hostname
oci-inst01
■ 帯域動的変更
MCRの画面でOCIの帯域を動的に拡張してみてみます
① MCRコンソール
Oracle Cloudアイコンの歯車のボタンをクリック
② Connection Details画面
Rate Limitを100Mから500Mにあげて、[Save]をクリックし設定を反映し、[Next]をクリック
MCRは1Gで作成したのでAWSと合わせて合計1Gまで上げられます
1G以上必要な場合は、MCRを10Gで作成しておきます
③ Configure A End画面
[Next]をクリック
④ Configuration Details画面
[Next]をクリック
⑤ Service Logs画面
100Mから500Mに変更されたことを確認し、[Next]をクリック
⑥ Service Glaph -Trafic画面
[Next]をクリック
⑦ Billing画面
Billingを確認し、[Close]をクリック
■ 参考
・Megaport
・Megaport DCロケーション
・Megaport価格 | Megaport Networks
・MCR – Oracle via FastConnect (OCI)
・Connect to Oracle Cloud | Megaport Networks
・AWS Direct Connect への接続
・Connect Oracle Cloud to AWS via Megaport Cloud Router