NEC印西データセンター は、3つの主要なパブリッククラウド AWS, Azure, Oracle の接続拠点を備える国内唯一のデータセンターとなり、より高度なクラウド活用を支援します。
NEC DXネットワークサービスは、NEC印西データセンターからさまざまなネットワーク接続をワンストップで提供するサービスです。
インターネット接続、メガクラウドサービス Azure ExpressRoute、 AWS Direct Connect、Oracle Cloud Infrastructure FastConnect など、NEC神奈川データセンターおよびNEC神戸データセンターとのデータセンター間接続が可能となります。
・ NEC印西データセンターにOracle Cloud 接続拠点を開設(2023年7月5日)
・ NEC印西データセンターにAWS Direct Connect接続拠点を開設(2023年5月31日)
・ NEC印西データセンターにMicrosoft Azure ExpressRoute接続拠点を開設(2022年6月6日)
ということで、NEC印西データセンターから、NEC DXネットワークサービス L3接続を使用して、Amazon Web Services(AWS)、Oracle Cloud Infrastructure (OCI) のマルチクラウド・ハイブリッドクラウド閉域接続をしてみてみます。
■ 構成
・ オンプレミスCPE と NECの接続は、CPE側冗長リンクを LAG(LACP)で NECの VRF接続VIP へ接続します。
・ AWS、OCI と NECの接続は、BGP と等コスト・マルチパス・ルーティング: Equal-Cost Multi-Path Routing (ECMP)を使用して冗長された2つの回線を Active-Activeルーティング構成にします。
・ CPE環境は、今回用意した Cisco 892FSP-K9ルーターにはSFPポートが１つのため、SFPポート２つ装備した L2スイッチのCisco Catalyst 2960-Lを使用して光ファイバーケーブルをLACP冗長構成にしてみてみます。
・ 3つある AWS の AZ(1a,1c,1d)の内、最も高速レインテンシの AZ を確認します。
■ Amazon Web Services (AWS)側設定
● AWS Direct Connect ホスト接続を NECへオーダー
AWS Direct Connect パートナープログラムの AWS Direct Connect パートナーにお問い合わせ頂く必要があります。
今回、NEC DXネットワークサービスを利用します。
WSコンソールのアカウント画面にある AWS Account ID(12桁) を伝えて AWS Direct Connect ホスト接続を冗長用途で Primary と Secondary 2つ オーダーします。
接続がプロビジョニングされたら、AWS Direct Connect コンソールの [Connections] ペインに接続が表示されます。
▼ オーダー情報取得
NEC DXネットワークサービスから開通連絡と接続必要情報を受領後、次の手順へ進みます。
今回取得した次の接続情報で Direct Connectを設定していきます。
・ 接続先クラウド名：PoC用 L3接続AWS
・ クラウド事業者：AWS(印西POP)
・ クラウド側ASN：64512
・ 仮想ルータASN：64515
・ BGP認証キー：Zq5e8lPWaw3ztf
・ クラウド接続セグメント#1：169.254.11.0/30
- 接続名(Primary)：iz-aws-hc-T1094010-CLC50001-pri
- ルーターのピアIP：169.254.11.1
- AmazonルーターのピアIP：169.254.11.2
・ クラウド接続セグメント#2：169.254.12.0/30
- 接続名(Secondary)：iz-aws-hc-T1094010-CLC50001-sec
- ルーターのピアIP：169.254.12.1
- AmazonルーターのピアIP：169.254.12.2
▼ 1つ目の接続オーダー承認
ホスト接続を使用する前に接続を受け入れる必要があります。ホスト接続を承認します。
1) AWSコンソール画面
AWS Direct Connect コンソール を開き、ナビゲーションペインで [Direct Connect] をクリック
2) Direct Connect画面
[Connections (接続)] を選択
パートナーがプロビジョニングを完了すると次の画面のように接続が作成されます。
作成された接続をクリック
3) 接続画面
利用する接続であることを確認し、[承認する] をクリック
4) ホスト接続を承認する画面
[確認する] をクリックしてプロビジョニングを完了します。
5) ホスト接続を承認完了
▼ 2つ目の接続オーダー承認
同様の手順で2つ目の接続オーダー承認すると次の画面のように 状態が ordering から available へ変わります。
● 仮想プライベートゲートウェイの作成
▼ 仮想プライベートゲートウェイ画面
1) AWS コンソール画面
Direct Connect コンソールから、[仮想プライベートゲートウェイ] を選択してから、[仮想プライベートゲートウェイの作成] をクリック
2) 仮想プライベートゲートウェイを作成画面
次の項目を入力し、[仮想プライベートゲートウェイを作成する]をクリック
・ 名前タグ: 仮想プライベートゲートウェイの名前を入力します。これにより、Name というキーと指定した値を含むタグが作成されます。
・ 自律システム番号(ASN): [カスタム ASN] を選択して値を入力します。16 ビット ASN では、値は 64512 から 65534 の範囲内である必要があります。32 ビット ASN では、値は 4200000000 から 4294967294 の範囲内である必要があります。ここでは[64512]を設定
3) 仮想プライベートゲートウェイ作成完了
▼ 仮想プライベートゲートウェイをVPCにアタッチ画面
1) 仮想プライベートゲートウェイ画面
作成した仮想プライベートゲートウェイを選択した後、[アクション] > [VPCへアタッチ] をクリック
2) VPCへアタッチ画面
使用可能なVPCからアタッチするVPCを選択し、[VPCへアタッチ]をクリック
3) VPCへアタッチ完了
● 仮装インターフェース(Primary)作成
1) AWS コンソール画面
Direct Connect コンソールから、[仮装インターフェース] を選択し、[仮装インターフェースを作成] をクリック
2) 仮装インターフェースを作成する画面
次の項目を選択し、[仮想プライベートゲートウェイを作成]をクリック
[仮想インターフェイスのタイプ] で以下を実行します。
・ 仮想インターフェイスタイプ: [プライベート] を選択
[プライベート仮想インターフェイス設定] で以下を実行します。
・ 仮想インターフェイス名: 仮想インターフェイスの名前を入力
・ 接続: このインターフェイスに使用する Direct Connect 接続を選択。
・ 仮想インターフェイスの所有者: 自分のAWSアカウントを選択
・ ゲートウェイタイプ: ここでは、[仮想プライベートゲートウェイ]を選択
・ VLAN: パートナーから指定されたVLAN番号を入力
・ BGP ASN: ここではパートナー指定のパートナー・ピアルーターの、ASN番号を入力
[追加設定] で、以下を実行します。
・ アドレスファミリー: [IPv4]を選択
・ ルーターのピア IP: パートナーから指定された値を入力
・ Amazon ルーターのピアIP: パートナーから指定された値を入力
・ BGP認証キー: パートナーへ指定した値を入力
・ ジャンボ MTU （MTUサイズ 9001）-オプション: ここでは使用しない
9001 (ジャンボフレーム) に変更するには、パートナーと調整して選択します。
・ SiteLink の有効化-オプション: ここでは使用しない
3) 仮装インターフェース作成完了
状態は avalable になり、BGPステータスはパートナー・ルーターと通信できると UPします。
4) 仮装インターフェース BGPステータスUP 完了
AWS側の設定ができると数分でBGPステータスはUPします。
● 仮装インターフェース(Secondary)作成
1) 仮装インターフェース(Secondary)作成
同様に作成し2本目を作成し、BGPステータスUP させます。
2) 仮装インターフェース(Secondary)作成完了
● ECMP設定
AWS Direct Connect ゲートウェイ - ネットワークプレフィックス、プレフィックス長、AS_PATH がまったく同じである場合、AWS Direct Connect ゲートウェイアタッチメントは複数の Direct Connect ゲートウェイのアタッチメント間で ECMP を自動的にサポートします。
そのため、今回は特に追加設定はありません。
● VPC ルートテーブルへ BGP ルート受信設定
外部から AWSへ送信される BGPルートをVPC ルートテーブルへ伝搬する自動ルート受信設定をします。
サブネットルートテーブルのルート伝達を有効にしていることを確認します。このステップは、VPN 接続と Direct Connect 仮想インターフェイスから学習したルートを VPC ルートテーブル伝達します。ルートへの変更は動的に更新され、手動でルートを入力または更新する必要はありません。
1) ルートテーブル画面
VPCの画面から対象のルートテーブルを選択
2) ルート伝搬画面
対象のルートテーブルの[ルート伝搬]タブを選択し、[ルート伝搬の編集]をクリック
3) ルート伝搬の編集画面
[有効化]をクリック
4) ルート伝搬確認
OCI, オンプレミスのルートが受信されていることを確認
■ Oracle Cloud Infrastructure側設定
● タスク1: Oracleパートナへの接続の設定
Oracleパートナに接続をオーダーし、それを設定してパートナでテストするプロセスを開始します。パートナによっては、時間がかかる場合があります。
今回、NEC DXネットワークサービスを利用します。
● タスク2: DRGの設定
Oracle Cloud Infrastructure Console を使用して DRG を設定し、それを VCN にアタッチして、DRG にトラフィックを送信するためのルート・ルールを含めるようにVCNのルーティングを更新します。ルート表の更新は忘れがちです。ルート・ルールがない場合、トラフィックは流れません。
▼ DRG作成
Dynamic Routing Gateway (DRG)を作成します。
DRGは、オンプレミス・ネットワークと仮想クラウド・ネットワーク(VCNs)間のトラフィックのパスを提供する仮想ルーターとして機能し、VCNs間のトラフィックのルーティングにも使用できます。様々なタイプのアタッチメントを使用して、様々なリージョンおよびテナンシのコンポーネントを使用してカスタム・ネットワーク・トポロジを構築できます。各DRGアタッチメントには、DRGに入るパケットをネクスト・ホップにルーティングするために使用されるルート表が関連付けられています。静的ルートに加えて、アタッチされたネットワークからのルートは、オプションのインポート・ルート・ディストリビューションを使用してDRGルート表に動的にインポートされます。
1) OCI コンソール
ナビゲーション・メニューを開き、「ネットワーク」を選択し、「顧客接続」で、「動的ルーティング・ゲートウェイ」をクリック
2) 動的ルーティング・ゲートウェイ画面
「リスト範囲」で、作業する権限があるコンパートメントを選択します。
ページが更新されて、そのコンパートメントのリソースのみが表示されます。使用するコンパートメントが不明な場合は、管理者に問い合せてください。詳細は、アクセス制御を参照してください。
「動的ルーティング・ゲートウェイの作成」をクリック
3) 動的ルーティング・ゲートウェイの作成画面
次の値を入力します。
・ 名前: DRGのわかりやすい名前。一意にする必要はありません。後で変更できます。
・ コンパートメントに作成: DRGを作成するコンパートメントを選択
4) 動的ルーティング・ゲートウェイ作成完了
▼ DRGへのVCNアタッチ
Dynamic Routing Gateway (DRG)にVirtual Cloud Network (VCN)をアタッチします。
1) DRG画面
DRG画面にある「リソース」から「Dynamic Routing Gatewaysアタッチメント」をクリック
「仮想クラウド・ネットワーク・アタッチメントの作成」をクリックし、次の情報を入力し、「DRGアタッチメントの作成」をクリック
・ アタッチメント名: DRGアタッチメントにフレンドリ名を指定。名前を指定しない場合、自動的に作成されます。
・ VCN: アタッチするVCNを選択
・ VCNルート表: DRG の VCNルート表を選択。デフォルト名は「Autogenerated Drg Route Table for VCN attachments」
・ VCNルート・タイプ: このアタッチメントからインポートできるルートのタイプ [サブネットCIDRブロック], [VCN CIDRブロック]から選択
2) 仮想クラウド・ネットワーク・アタッチメント作成完了
▼ VCNルート表のルールの更新
次の手順を使用してVCNルート表のルールを更新してオンプレミスとVCN内インスタンスが通じるようにします。
● タスク3: 仮想回線の設定
1) OCI コンソール画面
ナビゲーション・メニューを開き、「ネットワーキング」をクリックし、「顧客接続性」項目にある [FastConnect]をクリック
2) FastConnect接続画面
「FastConnectの作成」をクリック
3) 接続の作成: 接続タイプ画面
「FastConnectパートナ」を選択し、「冗長仮想回線」を選択して、同じFastConnectの場所で異なる物理デバイスを使用する仮想回線を構成します。冗長性の詳細は、FastConnect冗長性のベスト・プラクティスを参照してください。
4) 接続の作成: 構成画面
「仮想回線１」と「仮想回線２」にパートナー[NEC DXNW Service L3]を選択して次を入力し、[作成]をクリック
「冗長仮想回線」を選択し、選択したパートナがOCIへのレイヤー3接続を作成する場合、冗長仮想回線の作成はオプションです。ただし、選択したパートナがレイヤー2接続を作成する場合は、冗長仮想回線が必要です。レイヤー2およびレイヤー3接続の詳細は、FastConnect冗長性のベスト・プラクティスを参照してください。
・ 名前: 仮想回線の追跡に役立つわかりやすい名前。値は仮想回線間で一意である必要はなく、後で変更できます。機密情報の入力は避けてください。
・ コンパートメントに作成: そのままにします(現在作業中のコンパートメント)。
・ 仮想回線タイプ: [プライベート仮想回線]を選択
・ トラフィック: ここでは、[すべてのトラフィック]を選択
・ 動的ルーティング・ゲートウェイ: 事前に作成したDRGを選択
・ プロビジョニングされた帯域幅: 値を選択します。帯域幅を後で増加させる必要がある場合は、別の値を使用するように仮想回線を更新できます
・ BGP IPアドレス
- 顧客BGP IPv4アドレス: ユーザー・エッジ(CPE)用のBGPピアリングIPアドレスを入力
- Oracle BGP IPv4アドレス: Oracle エッジ(DRG)に使用するBGPピアリングIPアドレスを入力
・ 顧客BGP ASN: ユーザー・エッジ(CPE)の BGP ASN を入力
- BGP MD5認証キーを使用します: MD5認証が必要な場合は、このチェック・ボックスを選択し、キーを指定します。Oracleは128ビットのMD5認証までをサポートしています。
- 双方向転送検出の有効化: 双方向転送検出(BFD)は、2つのデバイス間のリンクの障害および停止検出に使用されます。BFDを使用するOCIデバイスは、300ミリ秒ごとにメッセージを送信し、3倍の乗数を使用します。BFDの詳細は、RFC 5880で参照できます
- MTU: 1つのパケットで伝送できるバイト数を表す最大転送単位(MTU)を 1500 もしくは 9000 を選択[参考](https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/connectionhang.htm#Overview)
5) リソースの作成画面
リソースのプロビジョニングが開始され数分で完了します。
6) FastConnect作成完了
作成された仮想回線１と仮想回線２をクリックし、OCIDを確認します。
7) FastConnect接続画面
OCIDをコピーして別の場所に貼り付けます。次のタスクでそれをパートナ(ここではNEC)に渡します。
・ 仮想回線１
・ 仮想回線2
次のタスクを完了してパートナがプロビジョニング作業を行うまで、仮想回線のライフサイクル状態は「プロバイダ保留中」で、BGP状態は「停止中」です。パートナが作業を行った後、ライフサイクル状態は「プロビジョニング済」に切り替わります。BGPセッションが確立されて機能すると、BGP状態は「稼働中」に変わります。
● タスク4: 仮想回線のパートナ側の完了
パートナに連絡し、作成した各仮想回線のOCIDを、パートナがリクエストしたその他の情報とともに提供します。パートナによっては、パートナのオンライン・ポータル、または電話でこれを行う場合があります。パートナは、接続を完了するために、各仮想回線を終端で構成します。
Oracle Edge とパートナーEdge がつながり開通すると OCI側 Fastconnect画面では、Connection Status がグリーン色の "プロビショニング済み" になり、メトリック画面では、Connecttion State が "0 (停止中)" から "1 (稼働中)" にステータスが変わります。 また、BGP状態はCPE側で設定がされていないため"停止"状態です。
・ 仮想回線１
・ 仮想回線２
● ECMP有効化とBGPルート受信確認
ECMP有効化します。Equal-Cost Multi-Path Routing (ECMP)は、BGPを使用して、複数の FastConnect仮想回線または複数の IPSec Tunnelを介した ネットワークトラフィック の Flow-Based Load Balancingを可能にする機能です。
1) DRG ルート表画面
DRG ルート表画面で FastConect のルート表をクリック
2) DRG ルート表画面
[編集]をクリック
3) DRG ルート表の編集画面
[ECMPの有効化]をチェック
4) ECMP有効化完了
ECMPの項目が有効化されていることを確認
5) BGPルート受信確認
DRGルート表の詳細画面から[すべてのルート・ルールの取得]をクリックし
AWS, オンプレミスのルートが受信されていることを確認
重複するルートがすべてアクティブになっていることでECMPが有効化されていることを確認できます。
■ エッジの構成
BGPピアリング情報を使用するようにエッジ(CPE)を構成します(一般的な要件を参照)
BGPセッションを正常に構成すると、仮想回線のBGPセッション状態が「稼働中」に変わります。
今回、 Cisco機器をNEC データセンターへ配置して設定してみてみます。
● Cisco機器へのコンソール接続
ファイバー・ケーブルをCiscoルーターへ接続します。
今回用意したルーターは SFPスロットが１つのため、メディアコンバーターを使用して RJ45(銅線)を光ファイバー・ケーブル(LC/シングルモードSM)へ変換して接続します。
ルーターへコンソール・ケーブルを接続し、MacBook でコンソール接続します。
● Cisco Catalyst 2960-L 設定
▼ hostname設定
hostname C2960L-8PS
▼ WAN側 EtherChannel LACP設定
レイヤ 2 EtherChannel の設定でGigabitEthernet0/9と0/10をLACPします。
1) 設定
! L2 EtherChannel
interface Port-channel1
switchport mode trunk
!
! EtherChannel LACP
interface GigabitEthernet0/9
description LAG1
switchport mode trunk
channel-group 1 mode active
!
interface GigabitEthernet0/10
description LAG1
switchport mode trunk
channel-group 1 mode active
2) 設定確認
・ gigabitEthernet 0/9
C2960L-8PS#show interfaces gigabitEthernet 0/9
GigabitEthernet0/9 is up, line protocol is up (connected)
Hardware is Gigabit Ethernet, address is 2c31.24e0.8a89 (bia 2c31.24e0.8a89)
Description: LAG1
・・・
・ gigabitEthernet 0/10
C2960L-8PS#show interfaces gigabitEthernet 0/10
GigabitEthernet0/10 is up, line protocol is up (connected)
Hardware is Gigabit Ethernet, address is 2c31.24e0.8a8a (bia 2c31.24e0.8a8a)
Description: LAG1
・・・
3) LAN側 アクセスポート Vlan 設定
FastConnectパートナー(ここではNEC)から指定された VLAN ID 200 を使用して仮想回線インターフェースを構成します。
VLAN ID はピアリングごとに一意です。
interface Vlan200
ip address 192.168.200.5 255.255.255.248
no ip route-cache
!
interface GigabitEthernet0/1
switchport access vlan 200
switchport mode access
!
interface GigabitEthernet0/2
switchport access vlan 200
switchport mode access
● Cisco 892FSP-K9 設定
▼ hostname設定
今回複数台のルーターを使用する検証をするので、hostnameを設定しておきます。
hostname L3-C892FSP-01
▼ LAN インターフェース (Vlan1)設定
LAN側インターフェースを設定するために ネットワークスイッチ用デフォルトVLAN (VLAN1) を設定します。
interface Vlan1
description LAN
ip address 172.16.0.254 255.255.0.0
ip virtual-reassembly in
▼ WAN インターフェース (GigabitEthernet8)設定
! VLAN 200
vlan 200
!
interface GigabitEthernet8
description WAN
no ip address
duplex auto
speed auto
media-type rj45
!
interface GigabitEthernet8.200
encapsulation dot1Q 200
ip address 192.168.200.6 255.255.255.248
2) 設定確認
▼ 静的ルート設定
NEC DXネットワークサービス L3構成のルート制御は、次のようになります。
NEC仮想ルーターとAWS、OCI間は BGP動的ルート
NEC仮想ルーターとオンプレミスCPE間は静的ルート
そのため オンプレミスCPEへAWS, OCIの静的ルートを設定します。
1) 静的ルート設定
NEC 仮想ルーター(192.168.200.1)を Gatewayとして AWS、OCIのルートを追加
ここでは、 AWS、OCIのルートをまとめて 10.0.0.0 255.0.0.0 としています。
ip route 10.0.0.0 255.0.0.0 GigabitEthernet8 192.168.200.1
● 設定確認
▼ Cisco Catalyst 2960-L 確認
1) show interfaces summary 確認
C2960L-8PS#show interfaces summary
*: interface is up
IHQ: pkts in input hold queue IQD: pkts dropped from input queue
OHQ: pkts in output hold queue OQD: pkts dropped from output queue
RXBS: rx rate (bits/sec) RXPS: rx rate (pkts/sec)
TXBS: tx rate (bits/sec) TXPS: tx rate (pkts/sec)
TRTL: throttle count
Interface IHQ IQD OHQ OQD RXBS RXPS TXBS TXPS TRTL
-----------------------------------------------------------------------------------------------------------------
* Vlan1 0 0 0 0 0 0 0 0 0
* Vlan200 0 0 0 0 0 0 0 0 0
GigabitEthernet0/1 0 0 0 0 0 0 0 0 0
GigabitEthernet0/2 0 0 0 0 0 0 0 0 0
GigabitEthernet0/3 0 0 0 0 0 0 0 0 0
GigabitEthernet0/4 0 0 0 0 0 0 0 0 0
Interface IHQ IQD OHQ OQD RXBS RXPS TXBS TXPS TRTL
-----------------------------------------------------------------------------------------------------------------
GigabitEthernet0/5 0 0 0 0 0 0 0 0 0
* GigabitEthernet0/6 0 0 0 0 0 1 1000 2 0
* GigabitEthernet0/7 0 0 0 0 0 0 0 0 0
* GigabitEthernet0/8 0 0 0 0 1000 1 1000 2 0
* GigabitEthernet0/9 0 0 0 0 1000 1 0 0 0
* GigabitEthernet0/10 0 0 0 0 1000 1 0 0 0
* Port-channel1 0 0 0 0 2000 2 0 0 0
2) show ip interface brief 確認
C2960L-8PS#show ip interface brief
Interface IP-Address OK? Method Status Protocol
Vlan1 unassigned YES NVRAM up up
Vlan200 192.168.200.5 YES NVRAM up up
GigabitEthernet0/1 unassigned YES unset up up
GigabitEthernet0/2 unassigned YES unset down down
GigabitEthernet0/3 unassigned YES unset down down
GigabitEthernet0/4 unassigned YES unset down down
GigabitEthernet0/5 unassigned YES unset down down
GigabitEthernet0/6 unassigned YES unset down down
GigabitEthernet0/7 unassigned YES unset down down
GigabitEthernet0/8 unassigned YES unset down down
GigabitEthernet0/9 unassigned YES unset up up
GigabitEthernet0/10 unassigned YES unset up up
Port-channel1 unassigned YES unset up up
3) etherchannel 1 summary 確認
C2960L-8PS#show etherchannel 1 summary
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
H - Hot-standby (LACP only)
R - Layer3 S - Layer2
U - in use N - not in use, no aggregation
f - failed to allocate aggregator
M - not in use, minimum links not met
m - not in use, port not aggregated due to minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port
A - formed by Auto LAG
Number of channel-groups in use: 1
Number of aggregators: 1
Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
1 Po1(SU) LACP Gi0/9(P) Gi0/10(P)
4) Config確認
設定した内容を確認
C2960L-8PS#show running-config
Building configuration...
・・・
▼ Cisco 892FSP-K9確認
1) show ip route 確認
L3-C892FSP-01>show ip route
Codes: L - local, C - connected, S - static, R - RIP, M - mobile, B - BGP
D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area
N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2
E1 - OSPF external type 1, E2 - OSPF external type 2
i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2
ia - IS-IS inter area, * - candidate default, U - per-user static route
o - ODR, P - periodic downloaded static route, H - NHRP, l - LISP
+ - replicated route, % - next hop override
Gateway of last resort is not set
10.0.0.0/16 is subnetted, 2 subnets
S 10.2.0.0 [1/0] via 192.168.200.1, GigabitEthernet8.200
S 10.9.0.0 [1/0] via 192.168.200.1, GigabitEthernet8.200
192.168.200.0/24 is variably subnetted, 2 subnets, 2 masks
C 192.168.200.0/29 is directly connected, GigabitEthernet8.200
L 192.168.200.6/32 is directly connected, GigabitEthernet8.200
2) Config確認
設定した内容を確認
C892FSP-01#show running-config
Building configuration...
・・・
▼ 設定保存
・ startup-config 保存
C892FSP-01#copy running-config startup-config
Destination filename [startup-config]?
Building configuration...
[OK]
▼ OCI インスタンス 疎通確認
この時点でOCIインスタンスへ接続できるので確認しときます。
C892FSP-01#ping 10.9.0.2 source 192.168.200.6
Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 10.9.0.2, timeout is 2 seconds:
Packet sent with a source address of 192.168.200.6
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
● OCI側 確認
▼ BGP ステータス確認
IPv4 BGP状態が稼働中であることを確認
▼ FastConnect ステータス確認
OCI Consoleで Fastconnect画面にある BGP Status がグリーンであることを確認
メトリックは Sent/Recievedが動作していることを確認
1) FastConnec01確認
2) FastConnec02確認
▼ DRG 送受信ルート・ルール確認
DRG ルート表画面から[Get all route rules]をクリックし送受信するルート・ルールを確認
■ 接続確認
今回AWSのAZ 1a, 1c, 1d の３つを試してみて、最も高速だったAZは1aであったのでそれ以外のテストは省略します。
● オンプレミスから接続確認
▼ オンプレミス --> OCI インスタンス
・ ping 確認
C892FSP-01#ping 10.0.0.2 source 192.168.200.6
Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 10.0.0.11, timeout is 2 seconds:
Packet sent with a source address of 192.168.200.6
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
・ SSH 確認
shirok@macbook ~ % ssh -i id_rsa opc@10.0.0.2 hostname
oci-inst01
▼ オンプレミス --> AWS インスタンス(AZ:1a)
・ ping 確認
C892FSP-01#ping 10.1.1.20 source 192.168.200.6
Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 10.1.1.20, timeout is 2 seconds:
Packet sent with a source address of 192.168.200.6
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
・ SSH 確認
shirok@macbook ~ % ssh -i EC2.pem opc@10.1.1.20 hostname
ip-10-1-1-20.ec2.internal
● OCI から接続確認
▼ OCIインスタンス --> オンプレミス
・ Ping (ICMP)
[root@oci-inst ~]# ping 192.168.200.1 -i 0.001 -c 10
PING 192.168.200.1 (192.168.200.1) 56(84) bytes of data.
64 bytes from 192.168.200.1: icmp_seq=1 ttl=62 time=0.474 ms
64 bytes from 192.168.200.1: icmp_seq=2 ttl=62 time=0.394 ms
64 bytes from 192.168.200.1: icmp_seq=3 ttl=62 time=0.379 ms
64 bytes from 192.168.200.1: icmp_seq=4 ttl=62 time=0.389 ms
64 bytes from 192.168.200.1: icmp_seq=5 ttl=62 time=0.382 ms
64 bytes from 192.168.200.1: icmp_seq=6 ttl=62 time=0.387 ms
64 bytes from 192.168.200.1: icmp_seq=7 ttl=62 time=0.398 ms
64 bytes from 192.168.200.1: icmp_seq=8 ttl=62 time=0.402 ms
64 bytes from 192.168.200.1: icmp_seq=9 ttl=62 time=0.392 ms
64 bytes from 192.168.200.1: icmp_seq=10 ttl=62 time=0.399 ms
--- 192.168.200.1 ping statistics ---
10 packets transmitted, 10 received, 0% packet loss, time 9ms
rtt min/avg/max/mdev = 0.379/0.399/0.474/0.033 ms
▼ OCIインスタンス -> AWSインスタンス（AZ:1a)
・ Ping (ICMP)
[opc@oci-inst ~]$ sudo ping 10.1.1.20 -i 0.001 -c 10
PING 10.1.1.20 (10.1.1.20) 56(84) bytes of data.
64 bytes from 10.1.1.20: icmp_seq=1 ttl=122 time=0.767 ms
64 bytes from 10.1.1.20: icmp_seq=2 ttl=122 time=0.646 ms
64 bytes from 10.1.1.20: icmp_seq=3 ttl=122 time=0.638 ms
64 bytes from 10.1.1.20: icmp_seq=4 ttl=122 time=0.643 ms
64 bytes from 10.1.1.20: icmp_seq=5 ttl=122 time=0.643 ms
64 bytes from 10.1.1.20: icmp_seq=6 ttl=122 time=0.691 ms
64 bytes from 10.1.1.20: icmp_seq=7 ttl=122 time=0.684 ms
64 bytes from 10.1.1.20: icmp_seq=8 ttl=122 time=0.643 ms
64 bytes from 10.1.1.20: icmp_seq=9 ttl=122 time=0.680 ms
64 bytes from 10.1.1.20: icmp_seq=10 ttl=122 time=0.646 ms
--- 10.1.1.20 ping statistics ---
10 packets transmitted, 10 received, 0% packet loss, time 9ms
rtt min/avg/max/mdev = 0.638/0.668/0.767/0.039 ms
・ NetPerf(TCP)
[root@oci-inst ~]# netperf -H 10.1.1.20 -t TCP_RR -- -k MIN_LATENCY,MEAN_LATENCY,MAX_LATENCY
MIGRATED TCP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.1.1.20 () port 0 AF_INET : histogram : interval : dirty data : demo : first burst 0
MIN_LATENCY=645
MEAN_LATENCY=703.91
MAX_LATENCY=1483
・ NetPerf(UDP)
[root@oci-inst ~]# netperf -H 10.1.1.20 -t UDP_RR -- -k MIN_LATENCY,MEAN_LATENCY,MAX_LATENCY
MIGRATED UDP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.1.1.20 () port 0 AF_INET : histogram : interval : dirty data : demo : first burst 0
MIN_LATENCY=606
MEAN_LATENCY=678.01
MAX_LATENCY=3458
● AWS から接続確認
▼ AWSインスタンス(AZ:1a) --> オンプレミス
・ Ping (ICMP)
[root@ip-10-1-1-20 ~]# ping 192.168.200.1 -i 0.001 -c 10
PING 192.168.200.1 (192.168.200.1) 56(84) bytes of data.
64 bytes from 192.168.200.1: icmp_seq=1 ttl=63 time=0.412 ms
64 bytes from 192.168.200.1: icmp_seq=2 ttl=63 time=0.350 ms
64 bytes from 192.168.200.1: icmp_seq=3 ttl=63 time=0.349 ms
64 bytes from 192.168.200.1: icmp_seq=4 ttl=63 time=0.348 ms
64 bytes from 192.168.200.1: icmp_seq=5 ttl=63 time=0.370 ms
64 bytes from 192.168.200.1: icmp_seq=6 ttl=63 time=0.393 ms
64 bytes from 192.168.200.1: icmp_seq=7 ttl=63 time=0.352 ms
64 bytes from 192.168.200.1: icmp_seq=8 ttl=63 time=0.349 ms
64 bytes from 192.168.200.1: icmp_seq=9 ttl=63 time=0.349 ms
64 bytes from 192.168.200.1: icmp_seq=10 ttl=63 time=0.386 ms
--- 192.168.200.1 ping statistics ---
10 packets transmitted, 10 received, 0% packet loss, time 9ms
rtt min/avg/max/mdev = 0.348/0.365/0.412/0.022 ms
▼ AWSインスタンス(AZ:1a) --> OCIインスタンス
・ Ping (ICMP)
[ec2-user@ip-10-1-1-20 ~]$ sudo ping 10.9.0.2 -i 0.001 -c 10
PING 10.9.0.2 (10.9.0.2) 56(84) bytes of data.
64 bytes from 10.9.0.2: icmp_seq=1 ttl=60 time=0.770 ms
64 bytes from 10.9.0.2: icmp_seq=2 ttl=60 time=0.685 ms
64 bytes from 10.9.0.2: icmp_seq=3 ttl=60 time=0.686 ms
64 bytes from 10.9.0.2: icmp_seq=4 ttl=60 time=0.686 ms
64 bytes from 10.9.0.2: icmp_seq=5 ttl=60 time=0.688 ms
64 bytes from 10.9.0.2: icmp_seq=6 ttl=60 time=0.684 ms
64 bytes from 10.9.0.2: icmp_seq=7 ttl=60 time=0.691 ms
64 bytes from 10.9.0.2: icmp_seq=8 ttl=60 time=0.649 ms
64 bytes from 10.9.0.2: icmp_seq=9 ttl=60 time=0.644 ms
64 bytes from 10.9.0.2: icmp_seq=10 ttl=60 time=0.644 ms
--- 10.9.0.2 ping statistics ---
10 packets transmitted, 10 received, 0% packet loss, time 9ms
rtt min/avg/max/mdev = 0.644/0.682/0.770/0.034 ms
・ NetPerf(TCP)
[root@ip-10-1-1-20 ~]# netperf -H 10.9.0.2 -t TCP_RR -- -k MIN_LATENCY,MEAN_LATENCY,MAX_LATENCY
MIGRATED TCP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.9.0.2 () port 0 AF_INET : histogram : interval : dirty data : demo : first burst 0
MIN_LATENCY=624
MEAN_LATENCY=689.24
MAX_LATENCY=1453
・ NetPerf(UDP)
[root@ip-10-1-1-20 ~]# netperf -H 10.9.0.2 -t UDP_RR -- -k MIN_LATENCY,MEAN_LATENCY,MAX_LATENCY
MIGRATED UDP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.9.0.2 () port 0 AF_INET : histogram : interval : dirty data : demo : first burst 0
MIN_LATENCY=635
MEAN_LATENCY=720.36
MAX_LATENCY=1123
■ トラブルシューティング
FastConnectのトラブルシューティング, VCNおよび接続のトラブルシューティングを参照して、Layer1 から Layer2, Layer3 と Layer4 各項目を順番に設定コマンド出力、パケット・キャプチャしてエビデンス(証拠)をとって肉眼で確認しトラブルシュート(切り分け)していきます。
よくあるのは、OCI側、オンプレミス側の コンフィグミス, ファイアウォール, Path MTU Discovery(PMTUD: ICMPタイプ3,コード4の許可)など
・ AWS Direct Connect トラブルシューティング
・ Oracle FastConnect トラブルシューティング
・ Cisco EtherChannel トラブルシューティング
■ 参考
・NEC
- NECが「NEC印西データセンター」を公開、最新のデータセンター事業戦略を説明
- NEC印西データセンター
- NECのクラウドHubデータセンター
- NEC DXネットワークサービス: クラウド：NEC Cloud Solutions
- NEC Cloud Service based on Oracle
・AWS
- AWS Direct Connect
- 等コストマルチパスルーティング
- プライベート仮想インターフェイスおよびトランジット仮想インターフェイスのルーティングポリシー
- Direct Connect プライベート仮想インターフェイスのルーティングを設定するにはどうしたらよいですか?
- AWS Direct Connect のトラブルシューティング
- Direct Connect から AWS リソースへの接続に関する問題をトラブルシューティングする方法を教えてください。
・ Oracle
- NECとオラクル、NEC印西データセンターに、Oracle Cloud Infrastructureへの接続拠点を開設
- FastConnect
- FastConnect: Oracleパートナの使用
- FastConnectの要件
- FastConnectのメトリック
- DRGの作成
- DRGへのVCNのアタッチ
- オブジェクト・ストレージのIPアドレス
- MTUの概要
- FastConnectのトラブルシューティング
・Cisco
- Cisco Catalyst 2960-L シリーズ スイッチ
- Cisco C892FSP サービス統合型ルータ
- BGP コマンド リファレンス
- VLAN の設定
- Cisco C892FSP サービス統合型ルータ
- Border Gateway Protocol(BGP)の基本的な問題のトラブルシューティング
- EtherChannelのトラブルシューティング
・一般
- Equal-cost multi-path routing (ECMP)
- LAG: L2 EtherChannel Configuration
- VLAN - Access Port Configuration
- VLAN - Trunk Port Configuration
- VLAN - Access Port / Trunk Port
- 光ファイバケーブルの選び方
- 光ファイバーのシングルモードとマルチモードの違いを詳しく解説
- SFPが何か理解できておりません｜その他｜よくある質問 FAQ