Oracle Cloud: FastConnect Colocation (Cross-Connect) 接続してみてみた

Direct FastConnect を使用すると、専用のプライベートな高帯域幅接続を介して、Oracle Cloud Infrastructure（OCI）に直接接続できます。
Colocation接続モデルは、お客様が Oracle FastConnect ロケーション(Equinix, NTT Data等)に設備を確保している場合、または確立しようとしている場合に適しています。
Oracle FastConnectを使用して、コロケーション施設内のネットワーク機器(Edge)から、Oracle Cloud Servicesへの接続を確立できます。オラクルは、FastConnect エッジ・デバイスへの直接クロスコネクトを確立するためにデータ・センター・プロバイダが必要とする承認書（LOA）をお客様に提供します。
今Colocation接続が流行っているということで、物理ケーブル(Cross-Connect)冗長して FastConnect Colocation 接続をしてみてみます。

■ 構成イメージ

異なるOracleルーターに接続するように2つの物理接続(Cross-Connect)を作成して冗長構成します。

■ Task1: 学習および計画

開始する前に: 学習および計画の計画を進めます。FastConnect冗長性のベスト・プラクティスおよびハードウェアとルーティングの要件も参照してください。

■ Service Limitのサービス制限の引上げ

FastConnectダイレクト接続で必要な Cross-Connect(CC) と Cross-Connect Group(CCG) の Service Limit はデフォルト0のため、事前に必要数引上げておきます。

■ Task2: DRG 設定(Private Peeringの場合)

プライベート仮想回線(プライベート・ピアリング)を使用する場合は、DRGが必要です。

1) DRGの作成
まだ実行していない場合は、DRGを設定します。

2) DRGへのVCNのアタッチ
作成したDRGをVCNへアタッチします。

3）Route Table 設定
ルート表の更新は忘れがちです。ルート・ルールがない場合、トラフィックは流れません。
DRGにトラフィックを送信するためのルート・ルールを含めるようにVCNのルーティングを更新します。

■ Task3: Cross Connect Group (CCG) および Cross Connect(CC) 設定

今回は、1つのクロスコネクトを含むクロスコネクト・グループ(Link Aggregation(LAG)用)で構成します。
クロスコネクト・グループにさらにクロスコネクトが必要な場合は、後で追加できます。1つのグループには最大8つのクロスコネクトを設定できます。

1) OCIコンソール
ナビゲーション・メニューを開き、[Network] > [Customer Connectivity] >[FastConnect]をクリック

2) FastConnect接続画面
[FastConnectの作成]をクリック

3) 接続の作成画面(1/2)
[FastConnectダイレクト]を選択し、[次]をクリック
専用接続 LOAが必要で、サードパーティ・プロバイダを経由するか、FastConnect POP でコColocation接続する場合は、このオプションを使用します。

4）接続の作成画面(2/2)
以下情報を入力し[作成]をクリック

・名前: 
    この接続を追跡するのに役立つわかりやすい名前。
    クロスコネクト・グループ(LAG)を作成する場合、クロスコネクト・グループではこの名前が使用されます。
    このグループの各クロスコネクトでは、ハイフンと数字が追加された状態で使用されます(MyName-1、MyName-2など)。
・コンパートメント: 
    そのままにします(現在作業中のコンパートメント)
・クロスコネクト・タイプ:
    ルーターがLAGをサポートしている場合
        [クロスコネクト・グループ]を選択します。少なくとも1つのクロスコネクトを含むクロスコネクト・グループ(LAG)を作成します。
    ルーターがLAGをサポートしていない場合
        [単一クロスコネクト]を選択します。クロスコネクト・グループを持たない単一の非LAGクロスコネクトを作成します。
・参照名: 
    クロスコネクト・グループの物理LAGのID。これにより、今後の接続のトラブルシューティングが容易になります。
・クロスコネクトの数: 
    クロスコネクト・グループ内に作成する個々のクロスコネクトの数
    後でクロスコネクトを追加できます(クロスコネクト・グループで合計8つ)
・ポート速度: 
    1 Gbps、10 Gbps、または100 Gbps
・暗号化:
    接続でMACsec暗号化を使用する場合は、10Gbps以上のポート速度を選択する必要があります。
    また、CAKおよびCKNをボールトの個々のシークレットとしてプロビジョニングする必要があります。
・物理的な場所: 
    この接続のFastConnect Location
・ルーター近接性の指定: 
    新しい接続を他の接続の1つと同じルーターに配置するか、異なるルーターに配置するかを指定します。

5）Cross Connect Group (CCG) と　Cross Connect (CC)作成完了
・CCG画面

■ Task4: LOAの送信と、FastConnectの場所でのケーブル配線のリクエスト

1) Cross-Connect(CC)画面
CCG画面 > 作成されたCCをクリックし、[認可書: 表示]をクリック

2) Obtain a Letter of Authority (LOA)取得
各クロスコネクトのLOAの印刷: 作成したクロスコネクトごとに認可書(LOA)があります。
各クロスコネクトの詳細を表示し、クロスコネクトのLOAを表示および印刷
限られた期間、有効です。詳細情報はLOAに出力されます。

2) ケーブル配線リクエスト
FastConnect Location接続事業社へ LOAを送付し ケーブル配線をリクエストしユーザー側Edgeと接続
クロスコネクトのステータスは、次のいくつかのタスクを完了するまでは[顧客保留中]です。

■ Task5: 光源レベルの確認

各クロスコネクトの物理ファイバ・ケーブルについて、光源レベルが正常(-15 dBmより大きい)であることをユーザー側Edgeから確認します。そうなるまで先に進まないでください。
OCIコンソールでは、クロスコネクトの詳細を表示することによって、Oracleが検出した光源レベル表示し確認できます。

■ Task6: インタフェースが稼働していることの確認

各クロスコネクトの物理ファイバ・ケーブルについて、ユーザー側Edgeのインタフェースが稼働していることを確認
OCIコンソールでは、クロスコネクトの詳細を表示することによって、イOracle側ンタフェースのステータス(稼働中または停止中)を表示できます。(前述のスクリーンショットを参照)。

■ Task7: 各クロスコネクトのアクティブ化

各クロスコネクトをアクティブにします。
このプロセスによって、対応する物理ファイバ・ケーブルの準備ができたことがOracleに通知されます。これにより、Oracleは各クロスコネクトのルーター構成を完了します。

1) Cross-Connect画面
[アクティブ化]をクリック
他のクロスコネクトを使用する準備ができている場合、最初のクロスコネクトがプロビジョニングされるまで待機してから、次のクロスコネクトをアクティブにします。グループ内で一度にアクティブ化してプロビジョニングできるクロスコネクトは1つのみです。

2) Cross Connect Activate画面

3) アクティブ化完了
クロスコネクトのステータスが[プロビジョニング中]に変わり、その後[プロビジョニング済]に変わります(通常1分程度)

■ Task8: 仮想回線 Virtual Circuit (VC)設定

Oracle Consoleで接続するための1つ以上の仮想回線を作成します。

1) Cross Connect Group画面
リソース > [仮想回線] を選択し、[仮想回線の追加]をクリック

2) 仮想回線の作成画面
次の情報を入力し[作成]をクリック

・名前: 
    仮想回線を追跡するのに役立つわかりやすい名前。
・コンパートメント: 
    仮想回線を作成するコンパートメントを選択します。
    このコンパートメントと対応するIAMポリシーの選択によって、仮想回線にアクセスできるユーザーが制御されます。
・仮想回線タイプ: (PrivateまたはPublic)を選択します。
    - プライベート仮想回線: Private Peerinb (ユーザー・ネットワークがVCNのプライベートIPアドレスのルートを受信する)用
    - パブリック仮想回線: Public Peering (ユーザー・ネットワークが　OCI のパブリックIPアドレスのルートを受信する)用
・動的ルーティング・ゲートウェイ: 
    FastConnectトラフィックのルーティング先となるDRGを選択します。
・プロビジョニングされた帯域幅: 
    目的の値を選択します。帯域幅を後で増加させる必要がある場合は、別の値を使用するように仮想回線を更新できます。
    コロケーション接続の場合、CCGで構成される帯域になるため値は何でも良い。
・VLAN: 
    この仮想回線に使用するVLAN番号。
    これは、別の仮想回線に割り当てられていないVLANである必要があります。
・顧客BGP IPアドレス: 
    ユーザー・エッジ(CPE)用のBGPピアリングIPアドレス
    /30または/31のサブネット・マスクを使用
・Oracle BGP IPアドレス: 
    Oracleエッジ(DRG)に使用するBGPピアリングIPアドレス
    /30または/31サブネット・マスクを使用
・IPv6アドレス割当ての有効化: 
    詳細は、[FastConnectおよびIPv6](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/ipv6.htm#fastconnect)を参照してください。
・顧客BGP ASN:
    ネットワークのパブリックASNまたはプライベートASN。
・BGP MD5認証キー使用(オプション): 
    システムでMD5認証が必要な場合、このチェック・ボックスを選択し、キーを指定します。
    Oracleは128ビットのMD5認証までをサポートしています。
    英数字のみです。
・双方向転送検出の有効化(オプション): 
    Bidirectional Forwarding Detection(BFD) を有効にするには、このチェック・ボックスを選択します。

3) 仮想回線(VC)作成完了
Oracleのシステムが仮想回線をプロビジョニングしている間、仮想回線のステータスは短期間[プロビジョニング中]になります。

・仮想回線(VC)情報

・BGP情報

■ Task9: エッジの構成

FastConnectの要件を参考にルータを設定します。
以下は例です。サポートされる設定は CPEメーカー、NetWorkプロバイダへお問い合わせください。

● ユーザー側エッジ・ルーター構成例

仮想回線に BGP情報と VLAN を使用するように、各エッジ・ルーターを構成してみます。

1) Dot1Q interface の場合の設定例

Dot1Q や QinQ interface があり、ここでは Dot1Q の単一の VLAN ID を持つ Sub interface の場合の設定をしてみます。
VLAN ID はピアリングごとに一意です。

vlan 101
!
interface GigabitEthernet8.101
 encapsulation dot1Q 101
 ip address 192.168.254.1 255.255.255.252

2) eBGP 設定例

Oracle の BGP ASN は 31898 です。US Government Cloudについては、Oracle の BGP ASN を参照してください。

router bgp 64512
 bgp log-neighbor-changes
 neighbor 192.168.254.2 remote-as 31898
 !
 address-family ipv4
 neighbor 192.168.254.2 activate
 exit-address-family

● OCI コンソール確認

ユーザー・エッジと Oracleのエッジ間にBGPセッションが正しく構成されていない場合、VLANが正しく構成されていない場合、またはその他の問題がある場合、ステータスは[停止中]に切り替わります。
それ以外の場合、ステータスは[稼働中]に切り替わります。

■ Task10: Oracle BGP IPアドレスのPing

仮想回線に割り当てられているOracle BGP IPアドレスをpingします。
エラー・カウンタを確認し、削除されたパケットを探します。
エラーなしでこのIPアドレスを正常にpingできるようになるまで、先に進まないでください。
クロスコネクト・グループを設定した場合: pingが成功せず、MACアドレスを学習していない場合は、タスク9で説明したようにLACPが構成されていることを確認します。

・ping接続確認

Router01#ping 192.168.254.2

    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 192.168.254.2, timeout is 2 seconds:
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms

■ Task11: BGPセッションが確立されていることの確認

設定した仮想回線ごとに、接続の側でBGPセッションが確立された状態であることを確認します。

● CPE 側確認

Router01#show running-config | i router bgp | 192.168.254.2
router bgp 64512
 neighbor 192.168.254.2 remote-as 31898
  neighbor 192.168.254.2 activate
  neighbor 192.168.254.2 soft-reconfiguration inbound

・BGP接続ステータス確認

Router01#show ip bgp summary
      BGP router identifier 192.168.254.1, local AS number 64512
      BGP table version is 20, main routing table version 20
      10 network entries using 1440 bytes of memory
      19 path entries using 1520 bytes of memory
      2/2 BGP path/bestpath attribute entries using 320 bytes of memory
      1 BGP AS-PATH entries using 24 bytes of memory
      0 BGP route-map cache entries using 0 bytes of memory
      0 BGP filter-list cache entries using 0 bytes of memory
      BGP using 3304 total bytes of memory
      BGP activity 10/0 prefixes, 37/18 paths, scan interval 60 secs

      Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
      192.168.254.2 4        31898      16      19       20    0    0 00:11:31        1

・BGP 受信 Route 確認
CPE側 Routerで OCI から受信している Route を確認
OCIからは、VCN内 Subnet の CIDRを送信します。VCN CIDRを送信したい場合は、DRG と VCNを繋いでいるアタッチメントの設定で VCN CIDRを送信するように変更することができます。

Router01#show ip bgp neighbors 192.168.254.2 received-routes
      BGP table version is 20, local router ID is 192.168.254.1
      Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
                  r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
                  x best-external, a additional-path, c RIB-compressed,
      Origin codes: i - IGP, e - EGP, ? - incomplete
      RPKI validation codes: V valid, I invalid, N Not found

      Network          Next Hop            Metric LocPrf Weight Path
      *>  10.0.0.0/24      192.168.254.2                        0 31898 i

      Total number of prefixes 1

・Route 確認

Router01#show ip route bgp | I 192.168.254.2
    B        10.0.0.0 [20/0] via 192.168.254.2, 00:13:47

● OCI 側確認

BGP 受信 Route 確認
On-Premises(User Edge)から各 Virtual Circuit(VC)通じて受信した Routeを確認

■ Task12: 接続のテスト

OCI VCN内インスタンスを起動し、既存プライベート・ネットワークのホストからSSH接続できることを確認

● 1. User Edge(BGP Route) --> OCI Instance 確認

BGPルーターから OCI Instance へ ping疎通できることを確認

Router01#ping 10.0.0.2 source 192.168.254.1
    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 10.0.0.2, timeout is 2 seconds:
    Packet sent with a source address of 192.168.254.1
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/2/4 ms

● 2. On-Premises Instance --> OCI Instance 確認

オンプレミス インスタンスから、OCI Instance へ ssh等で接続できることを確認

onp-inst01:~ user$ ssh -i id_rsa opc@10.0.0.2 hostname
    oci-inst

■ 冗長用 Cross-Connect作成

ルーター近接性(Proximity)の指定をして 2番目の物理接続(クロスコネクト・グループ)が、その FastConnect Location の最初の接続(Cross-Connect-group01)とは異なるルーターで作成されるようにリクエストします。

● Cross Connect Group (CCG) および Cross Connect(CC) 設定

1) FastConnect接続画面
[FastConnectの作成]をクリック

2) 接続の作成画面(1/2)
[FastConnectダイレクト]を選択し、[次]をクリック

3）接続の作成画面(2/2)
2番目の物理接続(クロスコネクト・グループ)が、そのFastConnectの場所の最初の接続(Cross-Connect-group01)とは異なるルーターで作成されるように以下情報を入力し[作成]をクリック

・ルーター近接性の指定: 
    新しい接続を他の接続の1つと同じルーターに配置するか、異なるルーターに配置するかを指定します。 
・このグループのクロスコネクトを次の場所に作成:
    [別のルーター] を選択
・ルーター
    別のルーターに配置したい作成済みのクロスコネクト(Cross-Connect-Group01)を選択

● LOAの送信 ~ VC作成 ~ 接続のテスト

Cross-Connect01で作業した内容と同一手順で疎通を完了させます。

■ 冗長構成の考慮

FastConnect冗長性のベスト・プラクティス とオンプレミス・ネットワークへの接続のルーティング詳細を参考に冗長パスを構成します。

・Active-Standby Route 構成
BGP AS_PATH属性を使用してOracleからオンプレミス・ネットワークへルートを優先するようにオンプレミス側を設定します。
異なるパスのルートが同じ場合、Oracleは、Oracleへの接続の開始に使用されたパスには関係なく、オンプレミス・ネットワークにトラフィックを送信する際に最短のASパスを使用します。 したがって、非対称ルーティングが許可されます。
ルーティングで対称性を強制的に使用する場合は、応答および接続の開始時にOracleが使用するパスに影響を与えるため、ルートに BGP AS_PATH Prepend を使用することをお薦めします。

・Active-Active Route 構成
ECMP(Equal Cost Multi Path)を使用して複数の並列パスを介してオンプレミス環境へのトラフィックを負荷分散します。
DRG側の ECMP はデフォルトでオフになっており、DRGルート表ごとに有効にできます。

■トラブルシューティング

FastConnectのトラブルシューティング, VCNおよび接続のトラブルシューティングを参照して、Layer1 から Layer2, Layer3 と Layer4 各項目を順番に肉眼、設定コマンド出力、パケット・キャプチャしてエビデンス(証拠)をとって確認しトラブルシュート(切り分け)していきます。
よくあるのは、コンフィグミス, Tx/Rx(送信/受信)差し間違え, LACP設定ミス, ファイアウォール, Path MTU Discovery(PMTUD: ICMPタイプ3,コード4の許可)など

■ 参考

● Documents

・www.oracle.com
　- Oracle Cloud Infrastructure FastConnect
　- FastConnect Connectivity Models
　- FastConnect - Partners by Region
　- よくある質問

・Oracle Engineer Blog
　- FastConnect Design
　- FastConnect support from 10Gbps up to 100Gbps
　- OCI Level 200 - Connectivity FastConnect Part 2
　- FastConnect Design
　- OCI DRGv2での等コスト・マルチパス（ECMP）ルーティング
　- 専用線/閉域網接続サービス - 概要/価格/マニュアル/パートナー

・ Oracle Cloud Infrastructure Document
　- FastConnect: Oracleとコロケート
　- FastConnectの要件
　- FastConnect冗長性のベスト・プラクティス
　- オンプレミス・ネットワークへの接続のルーティング詳細
　- FastConnectのトラブルシューティング
　- VCNおよび接続のトラブルシューティング: ハングしている接続
　- PMTUD - importance and considerations

● Oracle FastConnect Partner接続

・Equinix Fabric: Oracle FastConnect への接続, Configure a FastConnect Direct Link with Equinix Cloud Exchange Fabric
・Megaport: Oracle Cloud Infrastructure FastConnect への接続
・NTT Communications Flexible InterConnect: FIC-Router to Oracle Cloud への接続