Equinix Network Edgeは、相互接続できる仮想ネットワークサービスです。
ハードウェアを追加購入することなくメトロを選び、エッジデバイスの選択と展開、Equinix Cloud Exchange Fabric™（ECX Fabric™）への接続を数分で行うことができます。
ネットワークエッジでは、Cisco、Juniper Networks、Fortinet、Palo Alto Networksなどのプロバイダーのネットワークおよびセキュリティデバイスを選択、設定し他の市場のネットワークプロバイダーやクラウドに接続できます。
Cisco CSR1000vなどは、QoS（Quality of Service)による帯域制御、MACsec（media access controlによる暗号化機能があるので、おもしろそう
ということで、Oracle Cloud Infrastructure(OCI) と AWSを接続してみてみます。
そしてついでに、OCIの Public Service である、Object StorageなどはTransit Routing設定すれば、Private PeeringでAWSとFastConnect経由で疎通できるのでやってみてみます。
■ 構成イメージ
Equinix Network Edge のCisco CSR1000V を使用してOCI とAWS を接続します
OCIとAWSの設定は事前に行っておき、ここでは、Equinix EdgeとOCI FastConnect、AWS Direct Connectの設定を行います。
OCIのTransit Routing設定は次を参考として事前にVCN,DRG,ルート・テーブル,セキュリティリストなど作成しておきます
・参考: Transit Routing + IPSec VPN / FastConnectで Object Storage, Autonomous Databaseへ接続してみてみた
■ Equinix Cloud ExchangeコンソールLOGIN
Equinix Cloud ExchangeポータルへLoginします
① Equinixホームページ
https://www.equinix.co.jp/services/edge-services/network-edge/ ページから、右上にある[ログイン]から[Equinix Cloud Exchangeポータル]をクリック
② Equinix Cloud Exchangeポータル 選択
③ Login
④ Login完了
■ Equinix Network Edge Virtual Device作成
Equinix Network EdgeのVirtual Deviceを作成します。
ここでのVirtual Deviceは、Cisco CSR100Vを選択します。
(1) Create Virtual Device
[Network Edge] > [Create Virtual Device]をクリック
(2) Select Vendor Packages
ここで、CISCO, Juniper vSRX , Fortinat Fotigateを選択できます
ここでは、'Cisco CSR 1000V'を選択し,[See Description]をクリック
(3) Cisco CSR 1000V
[Select and Continue]をクリック
(4) Select Edge Location
Edge Deviceの Metoro(ロケーション)を選択
ここでは、'Ashburn'を選択
(5) Device Deetails
以下内容を入力し、［Next Additional Services］をクリック
・Edge Device
- Device Name: Webコンソールに出力する名前
- Host Name Prifix: Deviceホスト名
・Device Status Notifications
- email address(es): Notification Mailを受信するアドレス
・Software Pakage A version
- Software Pakage: Pakageタイプ
- Version: Version
・Select License Throughput: 帯域を選択
(6) Additional Services
Virtual Deviceの SSHユーザー、IPアドレスを必要に応じて追加設定し、[Next Review]をクリック
(7) Create a Cisco CSR 1000V(3)
Terms & COndition項目にある [Order Trems]をクリック
(8) Review and Submit
内容を確認し、Terms & Conditionsにある [order Terms]をクリック
(9) Terms & Conditions
記載されている契約事項を確認し、問題なければ、[I Have read and understand these terms]チェックし、[Accept]をクリック
(10) Terms & Conditions Accepted
[Create Edge Device]をクリック
(11) Your Edge Devices(s) were created and are being provisoned
View your device in your dashboardにある[Go to the Edge Device]をクリック
■ Equinix Network Edge と OCI FastConnect接続
● OCI FastConnect 作成
OCIコンソールへログインし、Equinix Cloud Exchangeへ接続するFastConnectを作成します
(1) FastConnect画面
OCIへログインし、リージョンを選択、ここでは[US East(Ashburn)]を選択
[ネットワーキング] > [FastConnect]画面へ遷移し、
［FastConnectの作成］をクリック
(2) 接続の作成:接続タイプ
以下設定を行い、[次]をクリック
・接続タイプ:[Oracleプロバイダの使用]を選択
・プロバイダ: [Equinix：CloudExchange] を選択
(3) 接続の作成:構成
以下設定をおこない[作成]をクリック
・名前: 抵当な名前を設定
・コンパートメント: 作成するコンパートメントを選択
・仮想回線タイプ: [プライベート仮想回線]を選択
・動的ルーティング・ゲートウェイ: DRGを選択
・プロビジョニングされた帯域幅: 帯域を選択
・顧客GBP IPアドレス: Equinix側 BGPアドレスを設定
・ORACLE BGP IPアドレス: OCI側 BGPアドレスを設定
・顧客GBP ASN: Equinix側 BGPアドレスを設定
(4) FastoConnect作成完了
OCIDを［コピー］しておき、Equinix Edge画面で接続設定するときに使用して接続します
● Equinix Edge Create Connection to OCI
作成したOCI FastConnectと Equinix Edgeの接続設定をします
(1) Virtual Device画面
作成したEdge Device画面にある[Connections]をクリック
(2) I want to connect to:
Frequent Connectionsより、[Oracle Cloud]をSelectし、[Oracle CLoud Infrastructure-OCI-FastConnect]の[Create COnnection]をクリック
(3) Select Locations
以下設定を行い、[Next]をクリック
・Select Location: [Ashburn]を選択
・Virtual Device in Ashburn: [CSR1000v]を選択
・Destination: Ashburn]を選択
(4) Connection Details
以下入力し、［Next］をクリック
・Connection information: コンソール表示する名前を設定
・VIrtual Circuit OCID: 作成したFastConnectのOCIDを設定
・Connection Speed: 帯域幅を設定
(5) Review
設定内容を確認し、[Submit your Order]を設定
(6) Your order was submitted
[Go to My Inventory]をクリック
(7) Connect-OCI-Ashburn
以下、Primary BGP Information項目を入力し、[Accept]をクリック
・Local ASN: Equinix EdgeのASNを設定
・Local IP Address: Equinix EdgeのBGP IPを設定
・Remote ASN: OCIのASN 31898 を設定
・Remote IP address OCIのBGP IPを設定
Equinix Edge と OCI FastConnect接続確認
Equinix EdgeとOCI FastConnect が接続できたことを確認します
OCI FastConnect画面にある以下項目がグリーン色であることを確認
・ライフサイクル状態: プロビジョニング済
・BGP状態: 稼働中
■ Equinix Network Edge と AWS Direct Connect接続
● 1. AWSアカウントID確認
ECX Fabric portal画面で、AWSアカウントIDを用いてAWS接続用Connectionを作成すると、自動で AWS側に Direct Connectが作成されます。
ということでまず、AWSアカウントIDを確認します。
① AWSログイン
AWSコンソール上部にある[ユーザー名]から、[マイアカウント]をクリック
② アカウント設定画面
アカウントID を確認し、コピーしておきます
● 2. Equinix Cloud Exchange Connection作成
(1) ECX Fabric portalログイン
ECX Fabric portalログインし、「Network Edge]画面から、[Connections]をクリック
(2) Frequent Connections画面
[AWS]を選択し、"AWS Direct Connect" の[Create Connection]をクリック
(3) Steps: Connecting to AWS画面
3つの接続手順を確認して、[Create a Connection to Amazon Web Services]をクリック
(4) Select Locations画面
以下設定をして、[Next]をクリック
・Origin欄
- Select Location : Equinix Edgeルーターのlocationを選択
- Cirtual Devices in Ashburn: AWSと接続するEquinix Edgeルーターを選択
・Destination欄
- Suggested: Equinix Edgeルーターと最も近い AWSのLocaitonを選択
(5) Connection Details画面
以下設定をして、[Next]をクリック
- Connection Information: 任意の名前を設定
- AWS ACCOUNT ID: 事前に調べておいた AWS ACCOUNT IDを設定
- Connection Speed: 作成するAWS Direcconnectの帯域を設定
(6) Review画面
設定内容を確認して、[Submit your Order]をクリック
(7) Your order was submitted画面
[Go to My Inbentory] をクリック
もしくは、[Accept hosted Connection on AWS]をクリックしてもOK
(8)Important Information画面
[Accept hosted Connection]をクリック
すると、設定したAWS User IDに 設定した接続名で Direct Connect が作成されます。
● 3. AWS 仮想プライベートゲートウェイ作成
AWS VPCのゲートウェイとなる、仮想プライベートゲートウェイを作成
そして、これをDirect Connect接続するための Direct Connectゲートウェイへ関連付けます
(1) 仮想プライベートゲートウェイ画面
[AWS Direct Connect] > [仮想プライベートゲートウェイ]画面から、[仮想プライベートゲートウェイ]をクリック
(2) 仮想プライベートゲートウェイを作成する画面
以下内容を設定し、[仮想プライベートゲートウェイを作成する]をクリック
- 名前タグ：必要に応じて任意の名前を設定
- ASN: [AmazonのデフォルトASN]を選択
(3) 仮想プライベートゲートウェイを作成画面
[閉じる]をクリック
(4) 仮想プライベートゲートウェイをVPCにアタッチ
仮想プライベートゲートウェイ画面から、作成した仮想プライベートゲートウェイを選択し、[アクション]リストから、[VPCにアタッチ]をクリック
(5) VPCにアタッチ画面
以下内容を設定し、[はい、アタッチします]クリック
- VPC: 仮想プライベートゲートウェイをアタッチするVPCを選択
(6) 仮想プライベートゲートウェイ画面
状態が ’atattching’ になればOK
● 4. AWS Direct Connect ゲートウェイ作成
(1) Direct Connect ゲートウェイ画面
[AWS Direct Connect] > [Direct Connect ゲートウェイ]画面から、[Direct Connect ゲートウェイを作成する]をクリック
(2) Direct Connect ゲートウェイを作成する画面
以下内容を設定し、[Direct Connect ゲートウェイを作成する]をクリック
- 名前：任意の名前を設定
- Amazon側のASN: デフォルトの'64512'を設定
(3) ゲートウェイの関連付け
[Direct Connect ゲートウェイ]画面から,[ゲートウェイの関連付け]タブを選択し、[ゲートウェイを関連づける]をクリック
(4) ゲートウェイを関連付ける画面
以下内容を設定し、[ゲートウェイを関連付ける]をクリック
- ゲートウェイ: 事前に作成した仮想プライベートゲートウェイを選択
● 5. AWS Direct Connect接続設定
(1) AWS Direct Connect接続画面
AWS Webコンソールにログインし、[AWS Direct Connect] > [接続]をクリック
Equinix Network Edgeの手順で[Accept hosted Connection]クリックでDirect Connectが作成されていて「状態」は'ordering'であるとを確認
作成された Direct Connect IDをクリック
(2) AWS Direct Connect画面
[承認する]をクリックして、Direct Connect接続を承諾
(3) ホスト接続を承諾する画面
[確認する]をクリックし、承諾
(4) 仮想インターフェイス画面
[仮想インターフェイスを作成する]をクリック
(5) 仮想インターフェイスを作成する画面
以下設定を行い、[仮想インターフェイスを作成する]をクリック
- 仮想インターフェイスのタイプ: Private Peerinしたいので[プライベート]を選択
- 仮想インターフェイス名: 任意の名前を設定
- 接続: Direct Connectの接続名を選択
- 仮想インターフェイスの所有者: 自分のAWSアカウントを設定
- ゲートウェイタイプ: ここでは、[Direct Connect ゲートウェイ]を選択
- Direct Connect ゲートウェイ: 事前に作成した「Direct Connect ゲートウェイ」を選択
- VLAN: 自動で裁判されたデフォルト値を使用
- BGP ASN: Equinix Network Edgeに設定した65201を使用
(6) 仮想インターフェイス画面
仮想インターフェイスが作成され、以下ステータスを確認
[状態]: 'Avalable'
[BGP ステータス] : 'down'
そして、以下自動生成されたピアリング情報をメモし、Equinix Connections設定で使用します
- BGP 認証キー
- ルーターのピアIP
- AmazonルーターのピアIP
● 6. Equinix Connections AWS接続設定
(1) Connections画面
Equinix Webコンソールにログインし、作成したAWSの Connection をクリック
(2) ConnectionーAWS画面
右下の欄にある Primary 'BGP Information' 欄にある[Edit]をクリック
(3) BGP Information欄
以下内容を設定し、[Accept]をクリック
- Local ASN: 任意のPrivate ASN(64512～65534)を設定
- Local IP Address: AWS仮想インターフェース作成で自動採番された、'ルーターのピアIP'を設定
- Remote ASN: '64512'を設定
- Remote IP address: AWS仮想インターフェース作成で自動採番された、'AmazonルーターのピアIP'を設定
- BGP Authentication key: AWS仮想インターフェース作成で自動作成された'BGP 認証キー'を設定
(4) BGP Information欄
Provisionig Statusが’PROVISIONING’から、'Active' になれば、BGP通信確立完了
● 7. AWS Direct Connect通信確立確認
(1) 仮想インターフェイス BGPステータス確認
AWSv Webコンソールにログインし、[AWS Direct Connect] > [仮想インターフェイス] > [作成した仮想インターフェイス名]をクリック
BGPステータスが 'UP' であることを確認
■ AWS VPC設定
● VPC ルートテーブル設定
(1) VPC ルート伝搬設定
VPC の[ルート伝搬]タブをクリックし、以下内容を設定
- 仮想プライベートゲートウェイ: Direct Connect利用している[仮想プライベートゲートウェイ]を選択
- 伝搬: [はい]を選択
(2) VPC ルート伝搬確認
VPC の[ルート]タブをクリックし、以下のように対抗のルートが伝搬されていることを確認
ここでは、OCI Ashburnリージョンと接続しているので、以下２種類のルートがOCIからAWSへ伝搬されていることを確認できる
OCI VCNルート: 10.10.10.0/24 OCI OSNルート: Public IP Address Rangesを参照
● ネットワークACL設定
[VRTUAL PRIVATE CLOUD] > [ネットワークACL]を選択し、インバウンドルールを以下のように設定
ここでは、テスト用途でOCIのVCN 10.10.0.0/16 のプロトコルをすべて通すように設定しています
● セキュリティグループ設定
[VRTUAL PRIVATE CLOUD] > [セキュリティーグループ]を選択し、インバウンドルールを以下のように設定
ここでは、テスト用途でOCIのVCN 10.10.0.0/16 のプロトコルをすべて通すように設定しています
■ 疎通確認
● OCI --> AWS 疎通確認
OCI Compute Instanceから、AWS EC2インスタンスへ通信できることを確認
・ssh接続確認
[opc@ashburn-inst01 ~]$ ssh -i AWS_EC2.pem ec2-user@172.31.0.10 hostname
ip-172-31-0−10.ec2.internal
・ping疎通確認
[opc@ashburn-inst01 ~]$ ping 172.31.0.10 -c 3
PING 172.31.0.10 (172.31.0.10) 56(84) bytes of data.
64 bytes from 172.31.0.10: icmp_seq=1 ttl=60 time=1.88 ms
64 bytes from 172.31.0.10: icmp_seq=2 ttl=60 time=1.90 ms
64 bytes from 172.31.0.10: icmp_seq=3 ttl=60 time=1.85 ms
--- 172.31.0.10 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2004ms
rtt min/avg/max/mdev = 1.855/1.882/1.903/0.040 ms
・tracerouteルート確認
OCI->EquinixのBGPピアIP 192.168.254.~ を通ること確認
[opc@ashburn-inst01 ~]$ traceroute 172.31.0.10
traceroute to 172.31.0.10 (172.31.0.10), 30 hops max, 60 byte packets
1 140.91.196.18 (140.91.196.18) 0.090 ms 140.91.196.82 (140.91.196.82) 0.073 ms 140.91.196.119 (140.91.196.119) 0.087 ms
2 192.168.254.22 (192.168.254.22) 0.784 ms 0.777 ms 0.748 ms
3 169.254.255.25 (169.254.255.25) 1.061 ms 1.365 ms 1.020 ms
4 172.31.0.10 (172.31.0.10) 3.469 ms 3.375 ms 3.366 ms
・iperf3帯域確認
AWSのDirect Connect 50Mで設定してるので、50M程度出力されることを確認
[root@ashburn-inst01 opc]# iperf3 -c 172.31.0.10
Connecting to host 172.31.0.10, port 5201
[ 4] local 10.10.0.2 port 58216 connected to 172.31.0.10 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 7.86 MBytes 65.9 Mbits/sec 206 11.3 KBytes
[ 4] 1.00-2.00 sec 5.59 MBytes 46.9 Mbits/sec 87 15.6 KBytes
[ 4] 2.00-3.00 sec 5.90 MBytes 49.5 Mbits/sec 106 4.24 KBytes
[ 4] 3.00-4.00 sec 5.59 MBytes 46.9 Mbits/sec 117 9.90 KBytes
[ 4] 4.00-5.00 sec 5.90 MBytes 49.5 Mbits/sec 108 25.5 KBytes
[ 4] 5.00-6.00 sec 5.59 MBytes 46.9 Mbits/sec 106 15.6 KBytes
[ 4] 6.00-7.00 sec 5.90 MBytes 49.5 Mbits/sec 70 7.07 KBytes
[ 4] 7.00-8.00 sec 5.59 MBytes 46.9 Mbits/sec 76 8.48 KBytes
[ 4] 8.00-9.00 sec 5.90 MBytes 49.5 Mbits/sec 95 11.3 KBytes
[ 4] 9.00-10.00 sec 5.59 MBytes 46.9 Mbits/sec 99 14.1 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 59.4 MBytes 49.9 Mbits/sec 1070 sender
[ 4] 0.00-10.00 sec 58.9 MBytes 49.4 Mbits/sec receiver
iperf Done.
● AWS --> OCI 疎通確認
AWS EC2インスタンスから、OCI Compute Instanceへ通信できることを確認
・ssh接続確認
[ec2-user@ip-172-31-0-2 ~]$ ssh -i ~/id_rsa opc@10.10.0.2
ashburn-inst01
・ping疎通確認
[ec2-user@ip-172-31-0-2 ~]$ ping 10.10.0.2 -c 3
PING 10.10.0.2 (10.10.0.2) 56(84) bytes of data.
64 bytes from 10.10.0.2: icmp_seq=1 ttl=61 time=1.90 ms
64 bytes from 10.10.0.2: icmp_seq=2 ttl=61 time=2.05 ms
64 bytes from 10.10.0.2: icmp_seq=3 ttl=61 time=2.07 ms
--- 10.10.0.2 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 5ms
rtt min/avg/max/mdev = 1.895/2.005/2.066/0.077 ms
・tracerouteルート確認
AWSのBGPピアIP 169.254.~ を通ること確認
[ec2-user@ip-172-31-0-2 ~]$ traceroute 10.10.0.2
traceroute to 10.10.0.2 (10.10.0.2), 30 hops max, 60 byte packets
1 169.254.255.1 (169.254.255.1) 1.096 ms 1.088 ms 169.254.255.5 (169.254.255.5) 0.374 ms
2 169.254.255.25 (169.254.255.25) 1.157 ms 1.082 ms 1.080 ms
3 169.254.255.26 (169.254.255.26) 1.487 ms 1.734 ms 1.715 ms
4 140.91.196.50 (140.91.196.50) 1.672 ms 140.91.196.55 (140.91.196.55) 1.649 ms 140.91.196.123 (140.91.196.123) 1.624 ms
5 ip-10-10-0-2.ec2.internal (10.10.0.2) 1.892 ms !X 1.835 ms !X 1.927 ms !X
・iperf3帯域確認
AWSのDirect Connect 50Mで設定してるので、50M程度出力されることを確認
[root@ip-172-31-0-2 ec2-user]# iperf3 -c 10.10.0.2
Connecting to host 10.10.0.2, port 5201
[ 5] local 172.31.0.10 port 58610 connected to 10.10.0.2 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 7.42 MBytes 62.2 Mbits/sec 129 15.6 KBytes
[ 5] 1.00-2.00 sec 5.84 MBytes 49.0 Mbits/sec 89 19.8 KBytes
[ 5] 2.00-3.00 sec 5.59 MBytes 46.9 Mbits/sec 69 12.7 KBytes
[ 5] 3.00-4.00 sec 5.72 MBytes 48.0 Mbits/sec 63 19.8 KBytes
[ 5] 4.00-5.00 sec 5.47 MBytes 45.9 Mbits/sec 88 25.5 KBytes
[ 5] 5.00-6.00 sec 6.15 MBytes 51.6 Mbits/sec 70 11.3 KBytes
[ 5] 6.00-7.00 sec 5.90 MBytes 49.5 Mbits/sec 103 9.90 KBytes
[ 5] 7.00-8.00 sec 5.41 MBytes 45.4 Mbits/sec 60 18.4 KBytes
[ 5] 8.00-9.00 sec 6.09 MBytes 51.1 Mbits/sec 112 11.3 KBytes
[ 5] 9.00-10.00 sec 5.47 MBytes 45.9 Mbits/sec 53 15.6 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 59.1 MBytes 49.5 Mbits/sec 836 sender
[ 5] 0.00-10.00 sec 58.7 MBytes 49.2 Mbits/sec receiver
iperf Done.
● AWS --> OCI Object Storage疏通確認
AWS EC2インスタンスから、OCI OSNにあるObject Storageへ疏通できることを確認
・ping疏通確認
[ec2-user@ip-172-31-0-2 ~]$ ping objectstorage.us-ashburn-1.oraclecloud.com -c 3
PING objectstorage.us-ashburn-1.oraclecloud.com (134.70.31.247) 56(84) bytes of data.
64 bytes from 134.70.31.247 (134.70.31.247): icmp_seq=1 ttl=61 time=2.48 ms
64 bytes from 134.70.31.247 (134.70.31.247): icmp_seq=2 ttl=61 time=2.46 ms
64 bytes from 134.70.31.247 (134.70.31.247): icmp_seq=3 ttl=61 time=2.41 ms
--- objectstorage.us-ashburn-1.oraclecloud.com ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 6ms
rtt min/avg/max/mdev = 2.414/2.450/2.487/0.071 ms
・tracerouteルート確認
AWSのBGPピアIP 169.254.~ を通ること確認
[root@ip-172-31-0-2 ec2-user]# traceroute -I objectstorage.us-ashburn-1.oraclecloud.com
traceroute to objectstorage.us-ashburn-1.oraclecloud.com (134.70.35.189), 30 hops max, 60 byte packets
1 169.254.255.1 (169.254.255.1) 0.672 ms 0.665 ms 0.663 ms
2 169.254.255.25 (169.254.255.25) 1.326 ms 1.345 ms 1.369 ms
3 169.254.255.26 (169.254.255.26) 1.836 ms 1.837 ms 1.836 ms
4 140.91.196.123 (140.91.196.123) 1.830 ms 1.992 ms 2.004 ms
5 134.70.35.189 (134.70.35.189) 28.091 ms 27.916 ms 27.931 ms
■ 参考
● Network Edge
• Network Edge
• Platform Equinix上でNetwork Edgeを活用したCisco vManage
● Network Edge 技術リソース
• Interconnection - Network Edge
• User Guide
• Deploy & Config