Equinix Network Edgeは、相互接続できる仮想ネットワークサービスです。
ハードウェアを追加購入することなくメトロを選び、エッジデバイスの選択と展開、Equinix Cloud Exchange Fabric™（ECX Fabric™）への接続を数分で行うことができます。
ネットワークエッジでは、Cisco、Juniper Networks、Fortinet、Palo Alto Networksなどのプロバイダーのネットワークおよびセキュリティデバイスを選択、設定し他の市場のネットワークプロバイダーやクラウドに接続できます。

Cisco CSR1000vなどは、QoS（Quality of Service)による帯域制御、MACsec（media access controlによる暗号化機能があるので、おもしろそう
ということで、Oracle Cloud Infrastructure(OCI) と AWSを接続してみてみます。
そしてついでに、OCIの Public Service である、Object StorageなどはTransit Routing設定すれば、Private PeeringでAWSとFastConnect経由で疎通できるのでやってみてみます。

■ 構成イメージ

Equinix Network Edge のCisco CSR1000V を使用してOCI とAWS を接続します
OCIとAWSの設定は事前に行っておき、ここでは、Equinix EdgeとOCI FastConnect、AWS Direct Connectの設定を行います。

OCIのTransit Routing設定は次を参考として事前にVCN,DRG,ルート・テーブル,セキュリティリストなど作成しておきます
・参考: Transit Routing + IPSec VPN / FastConnectで Object Storage, Autonomous Databaseへ接続してみてみた

■ Equinix Cloud ExchangeコンソールLOGIN

Equinix Cloud ExchangeポータルへLoginします

① Equinixホームページ
https://www.equinix.co.jp/services/edge-services/network-edge/ ページから、右上にある[ログイン]から[Equinix Cloud Exchangeポータル]をクリック

② Equinix Cloud Exchangeポータル選択

③ Login

④ Login完了

■ Equinix Network Edge Virtual Device作成

Equinix Network EdgeのVirtual Deviceを作成します。
ここでのVirtual Deviceは、Cisco CSR100Vを選択します。

(1) Create Virtual Device
[Network Edge] > [Create Virtual Device]をクリック

(2) Select Vendor Packages
ここで、CISCO, Juniper vSRX , Fortinat Fotigateを選択できます
ここでは、'Cisco CSR 1000V'を選択し,[See Description]をクリック

(3) Cisco CSR 1000V
[Select and Continue]をクリック

(4) Select Edge Location
Edge Deviceの Metoro(ロケーション)を選択
ここでは、'Ashburn'を選択

(5) Device Deetails
以下内容を入力し、［Next Additional Services］をクリック

・Edge Device
	- Device Name: Webコンソールに出力する名前
	- Host Name Prifix: Deviceホスト名
・Device Status Notifications
	- email address(es): Notification Mailを受信するアドレス
・Software Pakage A version
	- Software Pakage: Pakageタイプ
	- Version: Version
・Select License Throughput: 帯域を選択

(6) Additional Services
Virtual Deviceの SSHユーザー、IPアドレスを必要に応じて追加設定し、[Next Review]をクリック

(7) Create a Cisco CSR 1000V(3)
Terms & COndition項目にある [Order Trems]をクリック

(8) Review and Submit
内容を確認し、Terms & Conditionsにある [order Terms]をクリック

(9) Terms & Conditions
記載されている契約事項を確認し、問題なければ、[I Have read and understand these terms]チェックし、[Accept]をクリック

(10) Terms & Conditions Accepted
[Create Edge Device]をクリック

(11) Your Edge Devices(s) were created and are being provisoned
View your device in your dashboardにある[Go to the Edge Device]をクリック

■ Equinix Network Edge と OCI FastConnect接続

● OCI FastConnect 作成

OCIコンソールへログインし、Equinix Cloud Exchangeへ接続するFastConnectを作成します

(1) FastConnect画面
OCIへログインし、リージョンを選択、ここでは[US East(Ashburn)]を選択
[ネットワーキング] > [FastConnect]画面へ遷移し、
［FastConnectの作成］をクリック

(2) 接続の作成:接続タイプ
以下設定を行い、[次]をクリック

・接続タイプ:[Oracleプロバイダの使用]を選択
・プロバイダ: [Equinix：CloudExchange] を選択

(3) 接続の作成:構成
以下設定をおこない[作成]をクリック

・名前: 抵当な名前を設定
・コンパートメント: 作成するコンパートメントを選択
・仮想回線タイプ: [プライベート仮想回線]を選択
・動的ルーティング・ゲートウェイ: DRGを選択
・プロビジョニングされた帯域幅: 帯域を選択
・顧客GBP IPアドレス: Equinix側 BGPアドレスを設定
・ORACLE BGP IPアドレス: OCI側 BGPアドレスを設定
・顧客GBP ASN: Equinix側 BGPアドレスを設定

(4) FastoConnect作成完了
OCIDを［コピー］しておき、Equinix Edge画面で接続設定するときに使用して接続します

● Equinix Edge Create Connection to OCI

作成したOCI FastConnectと Equinix Edgeの接続設定をします

(1) Virtual Device画面
作成したEdge Device画面にある[Connections]をクリック

(2) I want to connect to:
Frequent Connectionsより、[Oracle Cloud]をSelectし、[Oracle CLoud Infrastructure-OCI-FastConnect]の[Create COnnection]をクリック

(3) Select Locations
以下設定を行い、[Next]をクリック

・Select Location: [Ashburn]を選択
・Virtual Device in Ashburn: [CSR1000v]を選択
・Destination: Ashburn]を選択

(4) Connection Details
以下入力し、［Next］をクリック

・Connection information: コンソール表示する名前を設定
・VIrtual Circuit OCID: 作成したFastConnectのOCIDを設定
・Connection Speed: 帯域幅を設定

(5) Review
設定内容を確認し、[Submit your Order]を設定

(6) Your order was submitted
[Go to My Inventory]をクリック

(7) Connect-OCI-Ashburn
以下、Primary BGP Information項目を入力し、[Accept]をクリック

・Local ASN: Equinix EdgeのASNを設定
・Local IP Address: Equinix EdgeのBGP IPを設定
・Remote ASN: OCIのASN 31898 を設定
・Remote IP address OCIのBGP IPを設定

Equinix Edge と OCI FastConnect接続確認

Equinix EdgeとOCI FastConnect が接続できたことを確認します

OCI FastConnect画面にある以下項目がグリーン色であることを確認

・ライフサイクル状態: プロビジョニング済
・BGP状態: 稼働中

■ Equinix Network Edge と AWS Direct Connect接続

● 1. AWSアカウントID確認

ECX Fabric portal画面で、AWSアカウントIDを用いてAWS接続用Connectionを作成すると、自動で AWS側に Direct Connectが作成されます。
ということでまず、AWSアカウントIDを確認します。

① AWSログイン
AWSコンソール上部にある[ユーザー名]から、[マイアカウント]をクリック

② アカウント設定画面
　アカウントID を確認し、コピーしておきます

● 2. Equinix Cloud Exchange Connection作成

(1) ECX Fabric portalログイン
ECX Fabric portalログインし、「Network Edge]画面から、[Connections]をクリック

(2) Frequent Connections画面
[AWS]を選択し、"AWS Direct Connect" の[Create Connection]をクリック

(3) Steps: Connecting to AWS画面
3つの接続手順を確認して、[Create a Connection to Amazon Web Services]をクリック

(4) Select Locations画面
以下設定をして、[Next]をクリック

・Origin欄
	- Select Location : Equinix Edgeルーターのlocationを選択
	- Cirtual Devices in Ashburn: AWSと接続するEquinix Edgeルーターを選択

・Destination欄
	- Suggested: Equinix Edgeルーターと最も近い AWSのLocaitonを選択

(5) Connection Details画面
以下設定をして、[Next]をクリック

- Connection Information: 任意の名前を設定
- AWS ACCOUNT ID: 事前に調べておいた AWS ACCOUNT IDを設定
- Connection Speed: 作成するAWS Direcconnectの帯域を設定

(6) Review画面
設定内容を確認して、[Submit your Order]をクリック

(7) Your order was submitted画面
[Go to My Inbentory] をクリック
もしくは、[Accept hosted Connection on AWS]をクリックしてもOK

(8)Important Information画面
[Accept hosted Connection]をクリック
すると、設定したAWS User IDに設定した接続名で Direct Connect が作成されます。

● 3. AWS 仮想プライベートゲートウェイ作成

AWS VPCのゲートウェイとなる、仮想プライベートゲートウェイを作成
そして、これをDirect Connect接続するための　Direct Connectゲートウェイへ関連付けます

(1) 仮想プライベートゲートウェイ画面
[AWS Direct Connect] > [仮想プライベートゲートウェイ]画面から、[仮想プライベートゲートウェイ]をクリック

(2) 仮想プライベートゲートウェイを作成する画面
以下内容を設定し、[仮想プライベートゲートウェイを作成する]をクリック

- 名前タグ：必要に応じて任意の名前を設定
- ASN: [AmazonのデフォルトASN]を選択

(3) 仮想プライベートゲートウェイを作成画面
[閉じる]をクリック

(4) 仮想プライベートゲートウェイをVPCにアタッチ
仮想プライベートゲートウェイ画面から、作成した仮想プライベートゲートウェイを選択し、[アクション]リストから、[VPCにアタッチ]をクリック

(5) VPCにアタッチ画面
以下内容を設定し、[はい、アタッチします]クリック

　- VPC: 仮想プライベートゲートウェイをアタッチするVPCを選択

(6) 仮想プライベートゲートウェイ画面
　状態が ’atattching’ になればOK

● 4. AWS Direct Connect ゲートウェイ作成

(1) Direct Connect ゲートウェイ画面
[AWS Direct Connect] > [Direct Connect ゲートウェイ]画面から、[Direct Connect ゲートウェイを作成する]をクリック

(2) Direct Connect ゲートウェイを作成する画面
以下内容を設定し、[Direct Connect ゲートウェイを作成する]をクリック

- 名前：任意の名前を設定
- Amazon側のASN: デフォルトの'64512'を設定

(3) ゲートウェイの関連付け
[Direct Connect ゲートウェイ]画面から,[ゲートウェイの関連付け]タブを選択し、[ゲートウェイを関連づける]をクリック

(4) ゲートウェイを関連付ける画面
以下内容を設定し、[ゲートウェイを関連付ける]をクリック

- ゲートウェイ: 事前に作成した仮想プライベートゲートウェイを選択

● 5. AWS Direct Connect接続設定

(1) AWS Direct Connect接続画面
AWS Webコンソールにログインし、[AWS Direct Connect] > [接続]をクリック
Equinix Network Edgeの手順で[Accept hosted Connection]クリックでDirect Connectが作成されていて「状態」は'ordering'であるとを確認
作成された Direct Connect IDをクリック

(2) AWS Direct Connect画面
[承認する]をクリックして、Direct Connect接続を承諾

(3) ホスト接続を承諾する画面
[確認する]をクリックし、承諾

(4) 仮想インターフェイス画面
[仮想インターフェイスを作成する]をクリック

(5) 仮想インターフェイスを作成する画面
以下設定を行い、[仮想インターフェイスを作成する]をクリック

- 仮想インターフェイスのタイプ: Private Peerinしたいので[プライベート]を選択
- 仮想インターフェイス名: 任意の名前を設定
- 接続: Direct Connectの接続名を選択
- 仮想インターフェイスの所有者: 自分のAWSアカウントを設定
- ゲートウェイタイプ: ここでは、[Direct Connect ゲートウェイ]を選択
- Direct Connect ゲートウェイ: 事前に作成した「Direct Connect ゲートウェイ」を選択
- VLAN: 自動で裁判されたデフォルト値を使用
- BGP ASN: Equinix Network Edgeに設定した65201を使用

(6) 仮想インターフェイス画面
仮想インターフェイスが作成され、以下ステータスを確認

[状態]:  'Avalable'
[BGP ステータス] : 'down'

そして、以下自動生成されたピアリング情報をメモし、Equinix Connections設定で使用します

- BGP 認証キー
- ルーターのピアIP
- AmazonルーターのピアIP

● 6. Equinix Connections AWS接続設定

(1) Connections画面
Equinix Webコンソールにログインし、作成したAWSの Connection をクリック

(2) ConnectionーAWS画面
右下の欄にある Primary 'BGP Information' 欄にある[Edit]をクリック

(3) BGP Information欄
以下内容を設定し、[Accept]をクリック

- Local ASN: 任意のPrivate ASN(64512～65534)を設定
- Local IP Address: AWS仮想インターフェース作成で自動採番された、'ルーターのピアIP'を設定
- Remote ASN: '64512'を設定
- Remote IP address: AWS仮想インターフェース作成で自動採番された、'AmazonルーターのピアIP'を設定
- BGP Authentication key: AWS仮想インターフェース作成で自動作成された'BGP 認証キー'を設定

(4)　BGP Information欄
Provisionig Statusが’PROVISIONING’から、'Active' になれば、BGP通信確立完了

● 7. AWS Direct Connect通信確立確認

(1) 仮想インターフェイス BGPステータス確認
AWSv Webコンソールにログインし、[AWS Direct Connect] > [仮想インターフェイス] > [作成した仮想インターフェイス名]をクリック
BGPステータスが 'UP' であることを確認

■ AWS VPC設定

● VPC ルートテーブル設定

(1) VPC ルート伝搬設定
　VPC の[ルート伝搬]タブをクリックし、以下内容を設定

- 仮想プライベートゲートウェイ: Direct Connect利用している[仮想プライベートゲートウェイ]を選択
- 伝搬: [はい]を選択

(2) VPC ルート伝搬確認
　VPC の[ルート]タブをクリックし、以下のように対抗のルートが伝搬されていることを確認
　ここでは、OCI Ashburnリージョンと接続しているので、以下２種類のルートがOCIからAWSへ伝搬されていることを確認できる
　OCI VCNルート: 10.10.10.0/24 OCI　OSNルート: Public IP Address Rangesを参照

● ネットワークACL設定

[VRTUAL PRIVATE CLOUD] > [ネットワークACL]を選択し、インバウンドルールを以下のように設定
ここでは、テスト用途でOCIのVCN 10.10.0.0/16 のプロトコルをすべて通すように設定しています

● セキュリティグループ設定

[VRTUAL PRIVATE CLOUD] > [セキュリティーグループ]を選択し、インバウンドルールを以下のように設定
ここでは、テスト用途でOCIのVCN 10.10.0.0/16 のプロトコルをすべて通すように設定しています

■ 疎通確認

● OCI --> AWS 疎通確認

OCI Compute Instanceから、AWS EC2インスタンスへ通信できることを確認

・ssh接続確認

[opc@ashburn-inst01 ~]$ ssh -i AWS_EC2.pem ec2-user@172.31.0.10 hostname
	ip-172-31-0−10.ec2.internal

・ping疎通確認

[opc@ashburn-inst01 ~]$ ping 172.31.0.10 -c 3
	PING 172.31.0.10 (172.31.0.10) 56(84) bytes of data.
	64 bytes from 172.31.0.10: icmp_seq=1 ttl=60 time=1.88 ms
	64 bytes from 172.31.0.10: icmp_seq=2 ttl=60 time=1.90 ms
	64 bytes from 172.31.0.10: icmp_seq=3 ttl=60 time=1.85 ms

	--- 172.31.0.10 ping statistics ---
	3 packets transmitted, 3 received, 0% packet loss, time 2004ms
	rtt min/avg/max/mdev = 1.855/1.882/1.903/0.040 ms

・tracerouteルート確認
OCI->EquinixのBGPピアIP 192.168.254.~ を通ること確認

[opc@ashburn-inst01 ~]$ traceroute 172.31.0.10
	traceroute to 172.31.0.10 (172.31.0.10), 30 hops max, 60 byte packets
	1  140.91.196.18 (140.91.196.18)  0.090 ms 140.91.196.82 (140.91.196.82)  0.073 ms 140.91.196.119 (140.91.196.119)  0.087 ms
	2  192.168.254.22 (192.168.254.22)  0.784 ms  0.777 ms  0.748 ms
	3  169.254.255.25 (169.254.255.25)  1.061 ms  1.365 ms  1.020 ms
	4  172.31.0.10 (172.31.0.10)  3.469 ms  3.375 ms  3.366 ms

・iperf3帯域確認
AWSのDirect Connect 50Mで設定してるので、50M程度出力されることを確認

[root@ashburn-inst01 opc]# iperf3 -c 172.31.0.10
	Connecting to host 172.31.0.10, port 5201
	[  4] local 10.10.0.2 port 58216 connected to 172.31.0.10 port 5201
	[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
	[  4]   0.00-1.00   sec  7.86 MBytes  65.9 Mbits/sec  206   11.3 KBytes
	[  4]   1.00-2.00   sec  5.59 MBytes  46.9 Mbits/sec   87   15.6 KBytes
	[  4]   2.00-3.00   sec  5.90 MBytes  49.5 Mbits/sec  106   4.24 KBytes
	[  4]   3.00-4.00   sec  5.59 MBytes  46.9 Mbits/sec  117   9.90 KBytes
	[  4]   4.00-5.00   sec  5.90 MBytes  49.5 Mbits/sec  108   25.5 KBytes
	[  4]   5.00-6.00   sec  5.59 MBytes  46.9 Mbits/sec  106   15.6 KBytes
	[  4]   6.00-7.00   sec  5.90 MBytes  49.5 Mbits/sec   70   7.07 KBytes
	[  4]   7.00-8.00   sec  5.59 MBytes  46.9 Mbits/sec   76   8.48 KBytes
	[  4]   8.00-9.00   sec  5.90 MBytes  49.5 Mbits/sec   95   11.3 KBytes
	[  4]   9.00-10.00  sec  5.59 MBytes  46.9 Mbits/sec   99   14.1 KBytes
	- - - - - - - - - - - - - - - - - - - - - - - - -
	[ ID] Interval           Transfer     Bandwidth       Retr
	[  4]   0.00-10.00  sec  59.4 MBytes  49.9 Mbits/sec  1070             sender
	[  4]   0.00-10.00  sec  58.9 MBytes  49.4 Mbits/sec                  receiver

	iperf Done.

● AWS --> OCI 疎通確認

AWS EC2インスタンスから、OCI Compute Instanceへ通信できることを確認