1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【実験】Direct Connectの片系を落とすと、実際どれくらいで切り替わり、行きと戻りはどの回線を通るのか

1
Posted at

1. はじめに

先日、NW-JAWS DAYで「AWS Direct Connect Resiliency Workshop」に参加し、オンプレミス側のルーター2台とDirect Connect 2回線による冗長構成をハンズオンで構築してきました。

ワークショップの内容は一般には公開されていないため、本記事では私が試した範囲に絞って書いています。構築の手順そのものが面白いので、ぜひ開催されたときに参加して体験してみてください。

ワークショップの最後には、片方のルーターでBGP(ルーター同士が経路を交換するプロトコル)を止めて、経路が残った回線に寄ることを確認する章があります。
ただ、そこで分かるのは切り替わった後の経路までで、切り替わりにどれくらい時間がかかるのか、その間に通信がどうなっているのかまでは見えません。
また、ワークショップの手順はオンプレミス側でBGPを止める方法なので、AWS側で障害が起きたときの見え方とは少し違うのではないかとも思いました。

ハンズオンの環境は気軽に壊せるところが良いと思っています。特にDirect Connectは、実際の回線を落として試せるタイミングがなかなかありません。せっかく2回線の冗長構成が手元にできたので、ワークショップの手順に加えて、追加で壊してみることにしました。

Direct Connectには、仮想インターフェイス(VIF)のBGPセッションをAWS側から意図的に落とす障害テストの機能があります。

当初は、AWS Fault Injection Service(FIS)の実験として障害を起こすつもりでした。FISには、VIFのBGPセッションを落とす aws:directconnect:virtual-interface-disconnect というアクションがあります。

ところが、ワークショップの環境では権限が足りず、FISの実験を作成できませんでした。
FISのコンソールで実験テンプレートを作り始め、アクションを追加しようとしたところ、アクションタイプの一覧を開いた時点で「User:」で始まる権限エラーが表示され、選べるアクションが1つも出てきませんでした。
ワークショップで割り当てられる参加者用のロールに、FISを使う権限が付いていなかったのだと考えます。

00_fis_action_error.png

エラー文にはアカウントIDなどが含まれるため、画像ではぼかしています。

そこで、FISは諦めて、Direct Connectコンソールから直接VIFのBGPを停止する障害テストに切り替えています。
FISのこのアクションも、必要な権限に directconnect:StartBgpFailoverTest が並んでいるので、裏で動くのは同じ障害テストの機能だと考えます。

今回は、ワークショップで作った構成に対してこの機能で片系ずつ障害を起こし、AWS側のEC2からpingを0.2秒間隔で打ち続けて、切り替え時間と、行き・戻りそれぞれの経路がどう変わるのかを追ってみることにしました。
あわせて、BFD(相手との疎通を短い間隔で確かめて、障害をすばやく検知する仕組み)を入れたときに切り替えの様子がどう変わるのか、影響も確認しています。

結論を先に書くと、片系を落としたときの通信断は約2秒で済んだケースもあれば、約137秒続いたケースもありました。
また、行きと戻りで通る回線が違う非対称な経路になっていることも、pingの結果から見えてきました。

本記事は、Direct Connectの冗長構成をこれから検証したい方、障害試験で何を見ればよいかの具体例を知りたい方に向けた内容です。

ワークショップの環境は、試験の後に利用時間が切れて閉じてしまい、追加の試験や設定の確認はもうできません。
記事中で原因を説明している箇所のうち、ログで裏付けが取れていないものは「想定」と明記しています。

2. 検証した構成

2.1 全体像

direct-connect-resiliency-topology-ip2.png

AWS側は、VPC(172.30.0.0/16、172.31.0.0/16)をTransit Gatewayにつなぎ、Direct Connect Gateway(BGPで使うAS番号は65002)からトランジットVIFを2本出しています。
オンプレミス側は、VyOSのルーター2台(AS番号は65001)で、ルーター間は172.16.0.0/30でiBGP(同じAS番号のルーター同士で張るBGP)を張っています。

VyOSは、オープンソースのネットワークOSです。
https://vyos.io/

東京回線(VIF1) 大阪回線(VIF2)
ルーター router1 router2
ロケーション Equinix TY2, Tokyo KDDI Telehouse Osaka 2
VLAN ID 3102 3586
BGPピア(AWS側 / ルーター側) 169.254.100.1 / .2 169.254.200.1 / .2

LAN側はVRRP(複数のルーターで1つの仮想的なゲートウェイを共有し、片方が止まるともう片方が引き継ぐ仕組み)で、router1がMASTER(ゲートウェイを担当する側、priority 120)、router2がBACKUP(待機する側、priority 110)です。
サーバーの172.16.1.10と172.16.2.10は、どちらもrouter1をデフォルトゲートウェイとして使っています。

今回、2本のVIFには、東京と大阪で別のロケーションを選びました。以降、VIF1側を東京回線、VIF2側を大阪回線と呼びます。
そのため、平常時のRTT(パケットが往復するのにかかる時間)は172.16.1.10宛(東京経由)が約7.5ms、172.16.2.10宛(大阪経由)が約19msと、はっきり差が出ました。
この差を後で経路を読み解く際の基準にしました。

2.2 通信経路

今回の環境では、方向ごと・宛先ごとに主系を決めています。(ここに辿りつくまでの流れはワークショップをぜひ体験してください)

AWSからオンプレミスへの方向は、オンプレミス側が経路をアドバタイズするときに付けるBGPコミュニティ(経路に付けるタグのような値)で制御します。

プレフィックス router1から router2から 主系
172.16.0.0/16 7224:7200(中) 7224:7100(低) 東京回線
172.16.2.0/24 7224:7100(低) 7224:7200(中) 大阪回線

オンプレミスからAWSへの方向は、受信時のroute-mapでLocal Preference(同じ宛先に複数の経路があるとき、値が大きいほうを優先するBGPの属性)を50に下げて制御します。
172.30.0.0/16宛はrouter1の回線、172.31.0.0/16宛はrouter2の回線が主系です。

試験前のrouter1のBGPテーブルです。
172.30.0.0/16は自分の回線、172.31.0.0/16は自分の回線(LocPrf 50)よりrouter2経由のiBGP(LocPrf 100)がベストなルートになっています。

   Network          Next Hop            Metric LocPrf Weight Path
* i172.16.0.0/16    172.16.0.2               0    100      0 i
*>                  0.0.0.0                  0         32768 i
*>i172.16.2.0/24    172.16.0.2               0    100      0 i
*> 172.30.0.0/16    169.254.100.1                          0 65002 i
*  172.31.0.0/16    169.254.100.1                  50      0 65002 i
*>i                 172.16.0.2                    100      0 65002 i

2.3 ワークショップのその先へ

今回の試験は、ワークショップ後の環境をベースに進めます。ポイントは3点です。

1つ目は、障害の起こし方です。
ワークショップでは、オンプレミス側のルーターで障害を起こします。
今回は、AWSコンソールの障害テスト(Bring down BGP)でAWS側からBGPを落とし、ルーター側では何も操作していません。

2つ目は、eBGP(異なるAS番号の相手と張るBGP。ここではAWSとのBGP)のタイマーです。
BGPの切断を早く検出させるため、ワークショップの手順にない次の設定を、両方のルーターに意図して入れていました(router2はネイバーが169.254.200.1になります)。

set protocols bgp 65001 neighbor 169.254.100.1 timers holdtime '15'
set protocols bgp 65001 neighbor 169.254.100.1 timers keepalive '5'

3つ目は、BFDです。ワークショップにはありませんが、試験の後半で追加しました。

3. 試験の方法

3.1 障害テストの実行

Direct Connectコンソールで対象のVIFを開き、「アクション」から「BGPを停止」を選ぶと、障害テストの開始画面が出ます。
テストの最大時間を分単位で指定し、確認欄に入力して開始します。

02_test1_start_dialog.png

開始すると、VIFの状態が「Testing」になり、AWSが受け取っているルートが0件になります。

04_test1_vif1_routes.png

試験は次の4回です。開始時刻と終了時刻は、コンソールのテスト履歴の値です。

# 落とした側 BFD 最大時間 開始 終了
1 東京回線(router1) なし 3分 11/16 23:33:31 23:36:55
2 大阪回線(router2) なし 3分 11/16 23:52:36 23:55:10
3 東京回線(router1) 300ms×3 2分 11/17 0:13:20 0:15:23
4 大阪回線(router2) 300ms×3 2分 11/17 0:17:14 0:19:19

東京回線のテスト履歴
大阪回線のテスト履歴

灰色で塗りつぶした行は、この4回より前に試したもので、本記事の結果には使っていません。

ここで1つ気になったのが、終了時刻です。
最大時間を3分にしたのに、テスト1は3分24秒、テスト2は2分34秒で完了になっていました。最大時間は「ちょうどその時間で戻る」という意味ではなさそうです。この辺りの仕様は深掘りしても面白そうです。
なお、本記事では、切り替えの時刻をコンソールの時刻ではなくpingのログで測っています。

3.2 測り方

AWS側のEC2(172.30.1.10)から、オンプレミスの2台のサーバーへ、タイムスタンプ付きのpingを0.2秒間隔で打ち続けました。

ping -i 0.2 -D 172.16.1.10
ping -i 0.2 -D 172.16.2.10

あわせて、EC2からのmtr(経路上のルーターごとに応答と遅延を測り続けるツール)、両ルーターの show ip bgp summary / show ip bgp / show ip route / アドバタイズしたルート、コンソールのVIFの受け入れ・アドバタイズされたルートを、障害前・障害中・復旧後に取っています。

なお、測ったのはAWSからオンプレミスへのpingだけです。オンプレミス側の端末からの測定はしていません。

4. pingから行きと戻りの経路を想定する

pingの応答だけで、行きと戻りがどちらの回線を通ったかを、ある程度読み取ることができました。

戻り(オンプレミスからAWS)はTTLで分かります。オンプレ側のサーバーのデフォルトゲートウェイはrouter1なので、戻りのパケットは必ずrouter1に入ります。router1から東京回線で直接AWSへ出ればTTLは61、router1からrouter2へ渡って大阪回線で出ると1ホップ増えてTTLは60(TTLはホップが増えるほど小さな値になります)になります。

行き(AWSからオンプレミス)は、TTLには出ないのでRTTの差で想定しました。平常時の実測から、往復とも東京回線なら約7.5ms、大阪回線を片道通るごとに約11ms増えると読みました。

RTT TTL 行き 戻り
約7.5ms 61 東京回線 東京回線
約19ms 61 大阪回線 東京回線
約18ms 60 東京回線 router1→router2→大阪回線
約29ms 60 大阪回線 router1→router2→大阪回線

行きの判定はRTTからの推定で、traceroute(mtr)で直接確かめたのは平常時と一部の時点だけである点はご了承ください。

この読み方で平常時を見ると、172.16.1.10宛は行きも戻りも東京回線ですが、172.16.2.10宛は行きが大阪回線、戻りが東京回線と、行きと戻りで別の回線を通っていました。

正常時の経路

行きはコミュニティ(172.16.2.0/24はrouter2が主系)で決まり、戻りはまずVRRPでrouter1に集まり、そこからLocal Preference(172.30.0.0/16はrouter1が主系)で決まるためです。
方向ごとに主系を決めた設定どおりの動きですが、実際の通信が往復で別の回線を通っていることは、今回pingで見て初めて実感できました。

では、ようやく障害試験を始めていきます。

5. 東京回線を落とす(テスト1、BFDなし)

5.1 切り替わりの瞬間

23:33:31に東京回線の障害テストを開始したときのpingです。172.16.1.10宛と172.16.2.10宛を、同じ時間幅で並べています。
先頭の数字はUNIX時刻で、1794839612.8 が 23:33:32.8 です。

172.16.1.10宛

[1794839612.424979] 64 bytes from 172.16.1.10: icmp_seq=570 ttl=61 time=7.27 ms
[1794839612.626014] 64 bytes from 172.16.1.10: icmp_seq=571 ttl=61 time=7.35 ms
[1794839612.826852] 64 bytes from 172.16.1.10: icmp_seq=572 ttl=61 time=7.55 ms
[1794839613.242830] 64 bytes from 172.16.1.10: icmp_seq=574 ttl=60 time=18.2 ms
[1794839613.442981] 64 bytes from 172.16.1.10: icmp_seq=575 ttl=60 time=18.1 ms
[1794839613.643599] 64 bytes from 172.16.1.10: icmp_seq=576 ttl=60 time=18.0 ms
[1794839613.827586] From 169.254.100.1 icmp_seq=577 Destination Net Unreachable
[1794839614.027713] From 169.254.100.1 icmp_seq=578 Destination Net Unreachable
[1794839614.228856] From 169.254.100.1 icmp_seq=579 Destination Net Unreachable
[1794839614.429106] From 169.254.100.1 icmp_seq=580 Destination Net Unreachable
[1794839614.636365] From 169.254.100.1 icmp_seq=581 Destination Net Unreachable
[1794839614.829856] From 169.254.100.1 icmp_seq=582 Destination Net Unreachable
[1794839615.031300] From 169.254.100.1 icmp_seq=583 Destination Net Unreachable
[1794839615.258841] 64 bytes from 172.16.1.10: icmp_seq=584 ttl=60 time=29.2 ms
[1794839615.459011] 64 bytes from 172.16.1.10: icmp_seq=585 ttl=60 time=29.2 ms
[1794839615.659497] 64 bytes from 172.16.1.10: icmp_seq=586 ttl=60 time=29.2 ms
[1794839615.859791] 64 bytes from 172.16.1.10: icmp_seq=587 ttl=60 time=29.2 ms
[1794839616.060079] 64 bytes from 172.16.1.10: icmp_seq=588 ttl=60 time=29.1 ms
[1794839616.260556] 64 bytes from 172.16.1.10: icmp_seq=589 ttl=60 time=29.1 ms
[1794839616.461437] 64 bytes from 172.16.1.10: icmp_seq=590 ttl=60 time=29.2 ms
[1794839616.662023] 64 bytes from 172.16.1.10: icmp_seq=591 ttl=60 time=29.3 ms
[1794839616.862136] 64 bytes from 172.16.1.10: icmp_seq=592 ttl=60 time=29.2 ms
[1794839617.062335] 64 bytes from 172.16.1.10: icmp_seq=593 ttl=60 time=29.0 ms
[1794839617.262762] 64 bytes from 172.16.1.10: icmp_seq=594 ttl=60 time=29.1 ms

172.16.2.10宛

[1794839612.405686] 64 bytes from 172.16.2.10: icmp_seq=422 ttl=61 time=19.0 ms
[1794839612.606218] 64 bytes from 172.16.2.10: icmp_seq=423 ttl=61 time=19.0 ms
[1794839612.806548] 64 bytes from 172.16.2.10: icmp_seq=424 ttl=61 time=19.3 ms
[1794839613.224079] 64 bytes from 172.16.2.10: icmp_seq=426 ttl=60 time=29.5 ms
[1794839613.424412] 64 bytes from 172.16.2.10: icmp_seq=427 ttl=60 time=29.6 ms
[1794839613.624842] 64 bytes from 172.16.2.10: icmp_seq=428 ttl=60 time=29.4 ms
[1794839613.824966] 64 bytes from 172.16.2.10: icmp_seq=429 ttl=60 time=29.5 ms
[1794839614.025687] 64 bytes from 172.16.2.10: icmp_seq=430 ttl=60 time=29.5 ms
[1794839614.225578] 64 bytes from 172.16.2.10: icmp_seq=431 ttl=60 time=29.6 ms
[1794839614.426076] 64 bytes from 172.16.2.10: icmp_seq=432 ttl=60 time=29.6 ms
[1794839614.626196] 64 bytes from 172.16.2.10: icmp_seq=433 ttl=60 time=29.6 ms
[1794839614.826048] 64 bytes from 172.16.2.10: icmp_seq=434 ttl=60 time=29.4 ms
[1794839615.026580] 64 bytes from 172.16.2.10: icmp_seq=435 ttl=60 time=29.4 ms
[1794839615.226122] 64 bytes from 172.16.2.10: icmp_seq=436 ttl=60 time=29.5 ms
[1794839615.426442] 64 bytes from 172.16.2.10: icmp_seq=437 ttl=60 time=29.6 ms
[1794839615.626378] 64 bytes from 172.16.2.10: icmp_seq=438 ttl=60 time=29.4 ms
[1794839615.826463] 64 bytes from 172.16.2.10: icmp_seq=439 ttl=60 time=29.5 ms
[1794839616.027324] 64 bytes from 172.16.2.10: icmp_seq=440 ttl=60 time=29.5 ms
[1794839616.227217] 64 bytes from 172.16.2.10: icmp_seq=441 ttl=60 time=29.5 ms
[1794839616.427728] 64 bytes from 172.16.2.10: icmp_seq=442 ttl=60 time=29.4 ms
[1794839616.628491] 64 bytes from 172.16.2.10: icmp_seq=443 ttl=60 time=29.1 ms
[1794839616.828565] 64 bytes from 172.16.2.10: icmp_seq=444 ttl=60 time=29.2 ms
[1794839617.029347] 64 bytes from 172.16.2.10: icmp_seq=445 ttl=60 time=29.4 ms
[1794839617.229345] 64 bytes from 172.16.2.10: icmp_seq=446 ttl=60 time=29.6 ms

172.16.1.10宛を順に読むと、次のようになります。

まずseqが1つ飛び(573番の応答が1回返ってこず)、直後からTTLが61から60に変わりました。RTTは18msで、行きはまだ東京回線、戻りだけがrouter2経由に切り替わった状態です。
次に、AWS側の東京回線のピア(169.254.100.1)から「Destination Net Unreachable」が約1.2秒返ってきました。
その後、RTT 29ms、TTL 60で応答が戻り、行きも戻りも大阪回線を通る状態に落ち着きました。

最後に正常に返った23:33:32.826から、次に正常に返った23:33:35.258まで、通信が止まっていたのは約2.4秒でした。

戻りのほうが行きより約1秒早く切り替わったことになります。
router1はBGPセッションが落ちたことにすぐ気づいて(Idleになって)iBGP経由に切り替えた一方で、AWS側はDirect Connect GatewayやTransit Gatewayの経路が切り替わるまでの間、落ちた東京回線にパケットを送り続け、ピアが到達不能を返していたのではないかと考えます。

5.2 障害中の経路

障害中のrouter1は、AWS側のピアがIdle、送っているプレフィックスは0件になっていました。
172.30.0.0/16は、自分の回線の経路が消え、router2経由のiBGP(LocPrf 50)がベストになっています。

admin@router1:~$ show ip bgp summary
Neighbor        V         AS   MsgRcvd   MsgSent   TblVer  InQ OutQ  Up/Down State/PfxRcd   PfxSnt
169.254.100.1   4      65002     21706     20010        0    0    0 00:00:51         Idle        0
172.16.0.2      4      65001      6218      6221        0    0    0 4d07h15m            4        1

admin@router1:~$ show ip bgp
   Network          Next Hop            Metric LocPrf Weight Path
* i172.16.0.0/16    172.16.0.2               0    100      0 i
*>                  0.0.0.0                  0         32768 i
*>i172.16.2.0/24    172.16.0.2               0    100      0 i
*>i172.30.0.0/16    172.16.0.2                     50      0 65002 i
*>i172.31.0.0/16    172.16.0.2                    100      0 65002 i

AWS側から見ると、大阪回線が受け取っているのは172.16.0.0/16(7224:7100)と172.16.2.0/24(7224:7200)の2件です。
平常時はrouter2からアドバタイズされていた172.30.0.0/16が消えています。router2にとっての172.30.0.0/16のベストが、router1経由のiBGPから、大阪回線でAWSから直接受けた経路(LocPrf 50)に変わり、受け取った相手には送り返さないためだと考えます。

テスト中の大阪回線の受け入れルート

EC2から確認した結果です。左が172.16.1.10宛、右が172.16.2.10宛です。
mtrは試験前から続けて実行しているため、左の2・3番目には東京回線(169.254.100.x)と大阪回線(169.254.200.x)の両方が出ており、172.16.1.10宛の行きが大阪回線側に移ったことが分かります。

03_test1_mtr.png
左側が17、右側がrouter2になります。

ここで、気づいたことは東京回線を落とすと、元々大阪回線が主系の172.16.2.10宛も、戻りが変わる点です。

5.1節の172.16.2.10宛のpingを見ると、同じタイミングでseqが1つ飛び(応答が1回返ってこず)、TTLが61から60に、RTTが19msから29msに変わりました。

行きは元から大阪回線なので変わりませんが、戻りはrouter1から出るので、東京回線が落ちるとrouter2を経由する遠回りになります。

東京回線障害時の経路

障害中は、オンプレミスからAWSへの戻りが、宛先によらず全てrouter1→router2→大阪回線を通ることになります。
VRRPのMASTERはBGPの状態を見ていないので、router1の回線が落ちてもrouter1がMASTERのままだからと考えられます。
今回はiBGPのリンクがあるので通信は続きましたが、ルーター間のリンクに戻りの全量が乗る点は、実環境で設計するときには気にしておきたいところだと感じました。

5.3 戻すとき

コンソール上のテスト終了は23:36:55でした。
pingで見ると、約5秒後の23:36:59.850にTTLが60から61へ戻り(戻りが東京回線に復帰)、さらに約2秒後の23:37:02.045にRTTが7.5msへ戻りました(行きも東京回線に復帰)。
172.16.2.10宛も、同じ23:36:59.845にTTLが61、RTTが19msへ戻っています(戻りが東京回線に復帰)。

172.16.1.10宛

[1794839819.459339] 64 bytes from 172.16.1.10: icmp_seq=1602 ttl=60 time=29.1 ms
[1794839819.659770] 64 bytes from 172.16.1.10: icmp_seq=1603 ttl=60 time=29.0 ms
[1794839819.850025] 64 bytes from 172.16.1.10: icmp_seq=1604 ttl=61 time=18.2 ms
[1794839820.051740] 64 bytes from 172.16.1.10: icmp_seq=1605 ttl=61 time=19.4 ms
[1794839820.251648] 64 bytes from 172.16.1.10: icmp_seq=1606 ttl=61 time=18.6 ms
[1794839820.451960] 64 bytes from 172.16.1.10: icmp_seq=1607 ttl=61 time=18.3 ms
[1794839820.652072] 64 bytes from 172.16.1.10: icmp_seq=1608 ttl=61 time=18.4 ms
[1794839820.852113] 64 bytes from 172.16.1.10: icmp_seq=1609 ttl=61 time=18.1 ms
[1794839821.052626] 64 bytes from 172.16.1.10: icmp_seq=1610 ttl=61 time=18.2 ms
[1794839821.254120] 64 bytes from 172.16.1.10: icmp_seq=1611 ttl=61 time=19.2 ms
[1794839821.453631] 64 bytes from 172.16.1.10: icmp_seq=1612 ttl=61 time=18.5 ms
[1794839821.654375] 64 bytes from 172.16.1.10: icmp_seq=1613 ttl=61 time=19.0 ms
[1794839821.862707] 64 bytes from 172.16.1.10: icmp_seq=1614 ttl=61 time=26.5 ms
[1794839822.045025] 64 bytes from 172.16.1.10: icmp_seq=1615 ttl=61 time=8.03 ms
[1794839822.244856] 64 bytes from 172.16.1.10: icmp_seq=1616 ttl=61 time=7.56 ms
[1794839822.445166] 64 bytes from 172.16.1.10: icmp_seq=1617 ttl=61 time=7.06 ms
[1794839822.646057] 64 bytes from 172.16.1.10: icmp_seq=1618 ttl=61 time=7.72 ms
[1794839822.846074] 64 bytes from 172.16.1.10: icmp_seq=1619 ttl=61 time=7.52 ms
[1794839823.045104] 64 bytes from 172.16.1.10: icmp_seq=1620 ttl=61 time=6.70 ms

172.16.2.10宛

[1794839819.455874] 64 bytes from 172.16.2.10: icmp_seq=1454 ttl=60 time=29.6 ms
[1794839819.655706] 64 bytes from 172.16.2.10: icmp_seq=1455 ttl=60 time=29.4 ms
[1794839819.845809] 64 bytes from 172.16.2.10: icmp_seq=1456 ttl=61 time=19.0 ms
[1794839820.046434] 64 bytes from 172.16.2.10: icmp_seq=1457 ttl=61 time=19.3 ms
[1794839820.247027] 64 bytes from 172.16.2.10: icmp_seq=1458 ttl=61 time=19.2 ms
[1794839820.447686] 64 bytes from 172.16.2.10: icmp_seq=1459 ttl=61 time=19.0 ms
[1794839820.647940] 64 bytes from 172.16.2.10: icmp_seq=1460 ttl=61 time=19.2 ms
[1794839820.848144] 64 bytes from 172.16.2.10: icmp_seq=1461 ttl=61 time=19.1 ms
[1794839821.048515] 64 bytes from 172.16.2.10: icmp_seq=1462 ttl=61 time=19.0 ms
[1794839821.250148] 64 bytes from 172.16.2.10: icmp_seq=1463 ttl=61 time=20.3 ms
[1794839821.449432] 64 bytes from 172.16.2.10: icmp_seq=1464 ttl=61 time=19.2 ms
[1794839821.650347] 64 bytes from 172.16.2.10: icmp_seq=1465 ttl=61 time=19.8 ms
[1794839821.862860] 64 bytes from 172.16.2.10: icmp_seq=1466 ttl=61 time=31.4 ms
[1794839822.051086] 64 bytes from 172.16.2.10: icmp_seq=1467 ttl=61 time=18.8 ms
[1794839822.252489] 64 bytes from 172.16.2.10: icmp_seq=1468 ttl=61 time=19.0 ms
[1794839822.454084] 64 bytes from 172.16.2.10: icmp_seq=1469 ttl=61 time=19.9 ms
[1794839822.653075] 64 bytes from 172.16.2.10: icmp_seq=1470 ttl=61 time=18.6 ms
[1794839822.853121] 64 bytes from 172.16.2.10: icmp_seq=1471 ttl=61 time=18.5 ms
[1794839823.052953] 64 bytes from 172.16.2.10: icmp_seq=1472 ttl=61 time=18.4 ms

戻すときは、seqが飛ぶことは1度もありませんでした。新しい経路が使えるようになってから切り替わるので、パケットが落ちないのだと考えます。

6. 大阪回線を落とす(テスト2、BFDなし)

続いて、23:52:36に大阪回線の障害テストを開始しました。
テスト1の鏡写しになると思っていたのですが、結果は大きく違いました。

172.16.1.10宛

[1794840756.428666] 64 bytes from 172.16.1.10: icmp_seq=6272 ttl=61 time=7.67 ms
[1794840756.629338] 64 bytes from 172.16.1.10: icmp_seq=6273 ttl=61 time=7.51 ms
[1794840756.830254] 64 bytes from 172.16.1.10: icmp_seq=6274 ttl=61 time=7.45 ms
[1794840757.031555] 64 bytes from 172.16.1.10: icmp_seq=6275 ttl=61 time=7.67 ms
[1794840757.232362] 64 bytes from 172.16.1.10: icmp_seq=6276 ttl=61 time=7.59 ms
[1794840757.433049] 64 bytes from 172.16.1.10: icmp_seq=6277 ttl=61 time=7.88 ms
[1794840757.633229] 64 bytes from 172.16.1.10: icmp_seq=6278 ttl=61 time=7.99 ms
[1794840757.834243] 64 bytes from 172.16.1.10: icmp_seq=6279 ttl=61 time=8.47 ms
(中略:TTL 61のまま、seqの飛びなし)
[1794840892.727142] 64 bytes from 172.16.1.10: icmp_seq=6952 ttl=61 time=7.50 ms
[1794840892.928396] 64 bytes from 172.16.1.10: icmp_seq=6953 ttl=61 time=8.28 ms
[1794840893.126913] 64 bytes from 172.16.1.10: icmp_seq=6954 ttl=61 time=7.65 ms
[1794840893.327395] 64 bytes from 172.16.1.10: icmp_seq=6955 ttl=61 time=7.26 ms
[1794840893.527650] 64 bytes from 172.16.1.10: icmp_seq=6956 ttl=61 time=7.52 ms
[1794840893.728690] 64 bytes from 172.16.1.10: icmp_seq=6957 ttl=61 time=7.62 ms
[1794840893.928550] 64 bytes from 172.16.1.10: icmp_seq=6958 ttl=61 time=7.49 ms
[1794840894.128032] 64 bytes from 172.16.1.10: icmp_seq=6959 ttl=61 time=7.29 ms
[1794840894.328246] 64 bytes from 172.16.1.10: icmp_seq=6960 ttl=61 time=7.13 ms
[1794840894.528692] 64 bytes from 172.16.1.10: icmp_seq=6961 ttl=61 time=7.17 ms
[1794840894.729118] 64 bytes from 172.16.1.10: icmp_seq=6962 ttl=61 time=6.85 ms
[1794840894.929337] 64 bytes from 172.16.1.10: icmp_seq=6963 ttl=61 time=7.09 ms
[1794840895.129723] 64 bytes from 172.16.1.10: icmp_seq=6964 ttl=61 time=6.99 ms
[1794840895.330563] 64 bytes from 172.16.1.10: icmp_seq=6965 ttl=61 time=7.19 ms
[1794840895.530996] 64 bytes from 172.16.1.10: icmp_seq=6966 ttl=61 time=7.39 ms
[1794840895.731424] 64 bytes from 172.16.1.10: icmp_seq=6967 ttl=61 time=7.41 ms
[1794840895.931335] 64 bytes from 172.16.1.10: icmp_seq=6968 ttl=61 time=7.32 ms
[1794840896.132331] 64 bytes from 172.16.1.10: icmp_seq=6969 ttl=61 time=7.73 ms

172.16.2.10宛

[1794840756.441588] 64 bytes from 172.16.2.10: icmp_seq=6124 ttl=61 time=18.5 ms
[1794840756.642456] 64 bytes from 172.16.2.10: icmp_seq=6125 ttl=61 time=18.6 ms
[1794840756.843778] 64 bytes from 172.16.2.10: icmp_seq=6126 ttl=61 time=19.0 ms
[1794840757.032332] From 169.254.200.1 icmp_seq=6127 Destination Net Unreachable
[1794840757.232956] From 169.254.200.1 icmp_seq=6128 Destination Net Unreachable
[1794840757.433477] From 169.254.200.1 icmp_seq=6129 Destination Net Unreachable
[1794840757.633542] From 169.254.200.1 icmp_seq=6130 Destination Net Unreachable
[1794840757.833757] From 169.254.200.1 icmp_seq=6131 Destination Net Unreachable
(中略:同じ到達不能が続く。到達不能は合計684本)
[1794840892.725828] From 169.254.200.1 icmp_seq=6804 Destination Net Unreachable
[1794840892.926447] From 169.254.200.1 icmp_seq=6805 Destination Net Unreachable
[1794840893.125453] From 169.254.200.1 icmp_seq=6806 Destination Net Unreachable
[1794840893.326509] From 169.254.200.1 icmp_seq=6807 Destination Net Unreachable
[1794840893.526253] From 169.254.200.1 icmp_seq=6808 Destination Net Unreachable
[1794840893.727384] From 169.254.200.1 icmp_seq=6809 Destination Net Unreachable
[1794840893.927384] From 169.254.200.1 icmp_seq=6810 Destination Net Unreachable
[1794840894.128102] 64 bytes from 172.16.2.10: icmp_seq=6811 ttl=61 time=8.35 ms
[1794840894.327469] 64 bytes from 172.16.2.10: icmp_seq=6812 ttl=61 time=7.24 ms
[1794840894.528674] 64 bytes from 172.16.2.10: icmp_seq=6813 ttl=61 time=7.92 ms
[1794840894.729095] 64 bytes from 172.16.2.10: icmp_seq=6814 ttl=61 time=7.84 ms
[1794840894.929248] 64 bytes from 172.16.2.10: icmp_seq=6815 ttl=61 time=8.00 ms
[1794840895.129656] 64 bytes from 172.16.2.10: icmp_seq=6816 ttl=61 time=8.13 ms
[1794840895.330542] 64 bytes from 172.16.2.10: icmp_seq=6817 ttl=61 time=7.94 ms
[1794840895.531174] 64 bytes from 172.16.2.10: icmp_seq=6818 ttl=61 time=7.58 ms
[1794840895.731726] 64 bytes from 172.16.2.10: icmp_seq=6819 ttl=61 time=7.72 ms
[1794840895.931933] 64 bytes from 172.16.2.10: icmp_seq=6820 ttl=61 time=7.92 ms
[1794840896.132655] 64 bytes from 172.16.2.10: icmp_seq=6821 ttl=61 time=7.47 ms

AWS側の大阪回線のピア(169.254.200.1)から到達不能が684本、23:52:37から23:54:54まで約137秒返り続けました。その後、RTT 8msで東京回線経由に切り替わっています。

到達不能が続いていた23:53:17に、EC2から実行したmtrです。左が172.16.1.10宛、右が172.16.2.10宛です。
右の172.16.2.10宛は、2・3番目が大阪回線(169.254.200.x)だけで、AWS側が落ちた大阪回線へ送り続けていたことと合います。

テスト2中のmtr

router2側のBGPは、テスト中に確認した時点でIdleになっていました。それでもAWS側は2分以上、落ちた大阪回線へパケットを送り続けていたことになります。

なお、172.16.1.10宛は、テスト2の間ずっと7.5ms・TTL 61のままで、影響はありませんでした。
戻りはrouter1から出るので、大阪回線が落ちても戻りの経路は変わりません。

大阪回線障害時の経路

戻すときは、テスト終了の約5秒後(23:55:15.6)にRTTが約19msへ戻りました。テスト1と同様にseqは飛びませんでした。

172.16.1.10宛

[1794840914.988407] 64 bytes from 172.16.1.10: icmp_seq=7063 ttl=61 time=7.00 ms
[1794840915.188373] 64 bytes from 172.16.1.10: icmp_seq=7064 ttl=61 time=6.69 ms
[1794840915.389117] 64 bytes from 172.16.1.10: icmp_seq=7065 ttl=61 time=6.73 ms
[1794840915.590828] 64 bytes from 172.16.1.10: icmp_seq=7066 ttl=61 time=7.51 ms
[1794840915.791684] 64 bytes from 172.16.1.10: icmp_seq=7067 ttl=61 time=7.42 ms
[1794840915.992292] 64 bytes from 172.16.1.10: icmp_seq=7068 ttl=61 time=7.59 ms
[1794840916.192919] 64 bytes from 172.16.1.10: icmp_seq=7069 ttl=61 time=7.32 ms
[1794840916.394012] 64 bytes from 172.16.1.10: icmp_seq=7070 ttl=61 time=7.40 ms
[1794840916.595158] 64 bytes from 172.16.1.10: icmp_seq=7071 ttl=61 time=7.47 ms

172.16.2.10宛

[1794840914.986342] 64 bytes from 172.16.2.10: icmp_seq=6915 ttl=61 time=7.88 ms
[1794840915.186913] 64 bytes from 172.16.2.10: icmp_seq=6916 ttl=61 time=7.27 ms
[1794840915.388119] 64 bytes from 172.16.2.10: icmp_seq=6917 ttl=61 time=7.67 ms
[1794840915.599967] 64 bytes from 172.16.2.10: icmp_seq=6918 ttl=61 time=18.6 ms
[1794840915.800890] 64 bytes from 172.16.2.10: icmp_seq=6919 ttl=61 time=18.6 ms
[1794840916.001406] 64 bytes from 172.16.2.10: icmp_seq=6920 ttl=61 time=18.7 ms
[1794840916.201615] 64 bytes from 172.16.2.10: icmp_seq=6921 ttl=61 time=18.8 ms
[1794840916.402482] 64 bytes from 172.16.2.10: icmp_seq=6922 ttl=61 time=18.8 ms
[1794840916.603477] 64 bytes from 172.16.2.10: icmp_seq=6923 ttl=61 time=18.7 ms

ここで少し不思議だったのが、コンソール上のテスト終了(23:55:10)より前の23:54:54に東京回線経由に切り替わっていたという点です。コンソール上ではテストは続いているのに、AWS側の経路は切り替わったことになります。

なお、137秒間不通となった原因は、ログからは特定できていません。2.3節のとおり、BGPのタイマーは両方のルーターでそろえていたので、左右の設定の差では説明がつきません。
到達不能を返していたのはルーターではなくAWS側のピア(169.254.200.1)で、router2側はBGPが落ちたことに気づいていました。そのため、AWS側で経路を切り替えるまでに時間がかかっていたのではないかと考えますが、なぜ大阪回線だけ長かったのかは分かりません。
137秒という長さも、オンプレ側ルータに設定したhold time(15秒)や、AWS側の既定のhold time(90秒)とは合いません。

7. BFDを入れて再試験(テスト3・4)

Direct ConnectのVIFはAWS側でBFDが有効になっており、ルーター側で設定すれば使えます。AWS側の検出間隔は300ms、倍数は3です。

オンプレ側に両ルーターに、BFDのピアとBGPネイバーへの紐付けを入れました。

set protocols bfd peer 169.254.100.1 interval transmit '300'
set protocols bfd peer 169.254.100.1 interval receive '300'
set protocols bfd peer 169.254.100.1 interval multiplier '3'
set protocols bgp 65001 neighbor 169.254.100.1 bfd

router1のBFDピア

この状態で、テスト3(東京回線)とテスト4(大阪回線)を行いました。結果は以下のとおりです。

東京回線を落としたテスト

# BFD 172.16.1.10宛 172.16.2.10宛
1 なし 約2.4秒(seqの飛び1回+到達不能7本) 約0.4秒(seqの飛び1回)
3 あり 約2.4秒(seqの飛び1回+到達不能5本) 約0.4秒(seqの飛び1回)

大阪回線を落としたテスト

# BFD 172.16.1.10宛 172.16.2.10宛
2 なし 影響なし 約137秒(到達不能684本)
4 あり 影響なし 約2.0秒(到達不能9本)

テスト3(東京回線、BFDあり)の172.16.1.10宛のpingです。テスト1と同じく、seqが1つ飛び(応答が1回返ってこず)、TTLが60に変わり、到達不能が5本返った後、RTT 29msで落ち着いています。172.16.2.10宛も、テスト1と同じくseqが1つ飛び、TTLが60に変わりました。

172.16.1.10宛

[1794842001.343357] 64 bytes from 172.16.1.10: icmp_seq=12481 ttl=61 time=7.44 ms
[1794842001.543976] 64 bytes from 172.16.1.10: icmp_seq=12482 ttl=61 time=7.32 ms
[1794842001.744840] 64 bytes from 172.16.1.10: icmp_seq=12483 ttl=61 time=7.23 ms
[1794842002.156760] 64 bytes from 172.16.1.10: icmp_seq=12485 ttl=60 time=17.9 ms
[1794842002.357654] 64 bytes from 172.16.1.10: icmp_seq=12486 ttl=60 time=18.4 ms
[1794842002.557988] 64 bytes from 172.16.1.10: icmp_seq=12487 ttl=60 time=18.0 ms
[1794842002.758797] 64 bytes from 172.16.1.10: icmp_seq=12488 ttl=60 time=17.9 ms
[1794842002.959935] 64 bytes from 172.16.1.10: icmp_seq=12489 ttl=60 time=17.8 ms
[1794842003.144846] From 169.254.100.1 icmp_seq=12490 Destination Net Unreachable
[1794842003.345843] From 169.254.100.1 icmp_seq=12491 Destination Net Unreachable
[1794842003.546757] From 169.254.100.1 icmp_seq=12492 Destination Net Unreachable
[1794842003.747267] From 169.254.100.1 icmp_seq=12493 Destination Net Unreachable
[1794842003.953484] From 169.254.100.1 icmp_seq=12494 Destination Net Unreachable
[1794842004.176954] 64 bytes from 172.16.1.10: icmp_seq=12495 ttl=60 time=29.1 ms
[1794842004.377094] 64 bytes from 172.16.1.10: icmp_seq=12496 ttl=60 time=29.2 ms
[1794842004.577556] 64 bytes from 172.16.1.10: icmp_seq=12497 ttl=60 time=29.1 ms
[1794842004.778049] 64 bytes from 172.16.1.10: icmp_seq=12498 ttl=60 time=29.1 ms
[1794842004.978497] 64 bytes from 172.16.1.10: icmp_seq=12499 ttl=60 time=29.1 ms
[1794842005.179069] 64 bytes from 172.16.1.10: icmp_seq=12500 ttl=60 time=29.3 ms
[1794842005.379542] 64 bytes from 172.16.1.10: icmp_seq=12501 ttl=60 time=29.2 ms
[1794842005.579794] 64 bytes from 172.16.1.10: icmp_seq=12502 ttl=60 time=28.9 ms
[1794842005.780205] 64 bytes from 172.16.1.10: icmp_seq=12503 ttl=60 time=29.1 ms
[1794842005.980697] 64 bytes from 172.16.1.10: icmp_seq=12504 ttl=60 time=29.2 ms
[1794842006.181257] 64 bytes from 172.16.1.10: icmp_seq=12505 ttl=60 time=29.2 ms

172.16.2.10宛

[1794842001.359720] 64 bytes from 172.16.2.10: icmp_seq=12333 ttl=61 time=18.8 ms
[1794842001.560968] 64 bytes from 172.16.2.10: icmp_seq=12334 ttl=61 time=18.9 ms
[1794842001.761623] 64 bytes from 172.16.2.10: icmp_seq=12335 ttl=61 time=19.0 ms
[1794842002.173792] 64 bytes from 172.16.2.10: icmp_seq=12337 ttl=60 time=29.2 ms
[1794842002.374480] 64 bytes from 172.16.2.10: icmp_seq=12338 ttl=60 time=29.2 ms
[1794842002.575115] 64 bytes from 172.16.2.10: icmp_seq=12339 ttl=60 time=29.3 ms
[1794842002.775858] 64 bytes from 172.16.2.10: icmp_seq=12340 ttl=60 time=29.2 ms
[1794842002.975854] 64 bytes from 172.16.2.10: icmp_seq=12341 ttl=60 time=29.2 ms
[1794842003.175072] 64 bytes from 172.16.2.10: icmp_seq=12342 ttl=60 time=29.4 ms
[1794842003.375456] 64 bytes from 172.16.2.10: icmp_seq=12343 ttl=60 time=29.5 ms
[1794842003.575628] 64 bytes from 172.16.2.10: icmp_seq=12344 ttl=60 time=29.4 ms
[1794842003.776085] 64 bytes from 172.16.2.10: icmp_seq=12345 ttl=60 time=29.4 ms
[1794842003.976745] 64 bytes from 172.16.2.10: icmp_seq=12346 ttl=60 time=29.4 ms
[1794842004.177105] 64 bytes from 172.16.2.10: icmp_seq=12347 ttl=60 time=29.1 ms
[1794842004.377884] 64 bytes from 172.16.2.10: icmp_seq=12348 ttl=60 time=29.0 ms
[1794842004.578159] 64 bytes from 172.16.2.10: icmp_seq=12349 ttl=60 time=29.0 ms
[1794842004.778427] 64 bytes from 172.16.2.10: icmp_seq=12350 ttl=60 time=29.0 ms
[1794842004.978689] 64 bytes from 172.16.2.10: icmp_seq=12351 ttl=60 time=29.0 ms
[1794842005.179219] 64 bytes from 172.16.2.10: icmp_seq=12352 ttl=60 time=29.3 ms
[1794842005.379673] 64 bytes from 172.16.2.10: icmp_seq=12353 ttl=60 time=29.3 ms
[1794842005.580026] 64 bytes from 172.16.2.10: icmp_seq=12354 ttl=60 time=28.8 ms
[1794842005.780389] 64 bytes from 172.16.2.10: icmp_seq=12355 ttl=60 time=28.9 ms
[1794842005.980786] 64 bytes from 172.16.2.10: icmp_seq=12356 ttl=60 time=29.2 ms
[1794842006.181368] 64 bytes from 172.16.2.10: icmp_seq=12357 ttl=60 time=29.3 ms

テスト4(大阪回線、BFDあり)の172.16.2.10宛のpingです。到達不能が9本返った後、RTT 7msの東京回線経由に切り替わりました。172.16.1.10宛は変化していません。

172.16.1.10宛

[1794842235.336084] 64 bytes from 172.16.1.10: icmp_seq=13648 ttl=61 time=7.46 ms
[1794842235.537027] 64 bytes from 172.16.1.10: icmp_seq=13649 ttl=61 time=7.63 ms
[1794842235.737113] 64 bytes from 172.16.1.10: icmp_seq=13650 ttl=61 time=7.18 ms
[1794842235.938173] 64 bytes from 172.16.1.10: icmp_seq=13651 ttl=61 time=7.52 ms
[1794842236.137507] 64 bytes from 172.16.1.10: icmp_seq=13652 ttl=61 time=7.37 ms
[1794842236.338019] 64 bytes from 172.16.1.10: icmp_seq=13653 ttl=61 time=7.47 ms
[1794842236.539419] 64 bytes from 172.16.1.10: icmp_seq=13654 ttl=61 time=7.88 ms
[1794842236.740181] 64 bytes from 172.16.1.10: icmp_seq=13655 ttl=61 time=8.05 ms
[1794842236.942259] 64 bytes from 172.16.1.10: icmp_seq=13656 ttl=61 time=9.18 ms
[1794842237.140303] 64 bytes from 172.16.1.10: icmp_seq=13657 ttl=61 time=7.92 ms
[1794842237.340736] 64 bytes from 172.16.1.10: icmp_seq=13658 ttl=61 time=7.47 ms
[1794842237.541138] 64 bytes from 172.16.1.10: icmp_seq=13659 ttl=61 time=7.29 ms
[1794842237.742429] 64 bytes from 172.16.1.10: icmp_seq=13660 ttl=61 time=7.93 ms
[1794842237.942837] 64 bytes from 172.16.1.10: icmp_seq=13661 ttl=61 time=7.49 ms
[1794842238.142085] 64 bytes from 172.16.1.10: icmp_seq=13662 ttl=61 time=7.59 ms
[1794842238.342375] 64 bytes from 172.16.1.10: icmp_seq=13663 ttl=61 time=7.41 ms
[1794842238.543389] 64 bytes from 172.16.1.10: icmp_seq=13664 ttl=61 time=7.69 ms
[1794842238.743424] 64 bytes from 172.16.1.10: icmp_seq=13665 ttl=61 time=6.90 ms
[1794842238.944902] 64 bytes from 172.16.1.10: icmp_seq=13666 ttl=61 time=8.03 ms
[1794842239.143704] 64 bytes from 172.16.1.10: icmp_seq=13667 ttl=61 time=7.76 ms
[1794842239.342825] 64 bytes from 172.16.1.10: icmp_seq=13668 ttl=61 time=6.55 ms
[1794842239.544869] 64 bytes from 172.16.1.10: icmp_seq=13669 ttl=61 time=7.68 ms

172.16.2.10宛

[1794842235.184554] 64 bytes from 172.16.2.10: icmp_seq=13499 ttl=61 time=18.9 ms
[1794842235.385609] 64 bytes from 172.16.2.10: icmp_seq=13500 ttl=61 time=19.0 ms
[1794842235.585593] 64 bytes from 172.16.2.10: icmp_seq=13501 ttl=61 time=18.7 ms
[1794842235.775332] From 169.254.200.1 icmp_seq=13502 Destination Net Unreachable
[1794842235.976065] From 169.254.200.1 icmp_seq=13503 Destination Net Unreachable
[1794842236.175375] From 169.254.200.1 icmp_seq=13504 Destination Net Unreachable
[1794842236.377211] From 169.254.200.1 icmp_seq=13505 Destination Net Unreachable
[1794842236.575844] From 169.254.200.1 icmp_seq=13506 Destination Net Unreachable
[1794842236.776549] From 169.254.200.1 icmp_seq=13507 Destination Net Unreachable
[1794842236.977439] From 169.254.200.1 icmp_seq=13508 Destination Net Unreachable
[1794842237.176605] From 169.254.200.1 icmp_seq=13509 Destination Net Unreachable
[1794842237.377574] From 169.254.200.1 icmp_seq=13510 Destination Net Unreachable
[1794842237.577550] 64 bytes from 172.16.2.10: icmp_seq=13511 ttl=61 time=7.30 ms
[1794842237.780174] 64 bytes from 172.16.2.10: icmp_seq=13512 ttl=61 time=9.31 ms
[1794842237.979413] 64 bytes from 172.16.2.10: icmp_seq=13513 ttl=61 time=8.08 ms
[1794842238.178254] 64 bytes from 172.16.2.10: icmp_seq=13514 ttl=61 time=7.76 ms
[1794842238.379171] 64 bytes from 172.16.2.10: icmp_seq=13515 ttl=61 time=8.22 ms
[1794842238.578789] 64 bytes from 172.16.2.10: icmp_seq=13516 ttl=61 time=7.31 ms
[1794842238.779752] 64 bytes from 172.16.2.10: icmp_seq=13517 ttl=61 time=7.64 ms
[1794842238.980067] 64 bytes from 172.16.2.10: icmp_seq=13518 ttl=61 time=7.20 ms
[1794842239.180612] 64 bytes from 172.16.2.10: icmp_seq=13519 ttl=61 time=7.64 ms
[1794842239.380471] 64 bytes from 172.16.2.10: icmp_seq=13520 ttl=61 time=7.19 ms
[1794842239.581010] 64 bytes from 172.16.2.10: icmp_seq=13521 ttl=61 time=7.71 ms

大阪回線は約137秒から約2.0秒に短くなりました。一方で、東京回線はBFDの有無にかかわらず約2.4秒で、差が出ていません。

数字だけ見ると「BFDで137秒が2秒になった」と書きたくなったのですが、理由が解説しきれないので、そこまでは言えないと考えました。
まず、比較できたのは大阪回線の1組だけで、各条件1回ずつしか測っていません。次に、テスト2とテスト4では、BFDの有無と同時にテストの最大時間(3分と2分)も変えてしまっています。最後に、6章のとおり、テスト2で137秒間不通となった原因そのものが分かっていません。同じ条件でもう一度落としたときに、また137秒かかるのかも確かめられていないので、たまたま長かった1回とBFDありの1回を比べている可能性があります。

なお、戻すときは、テスト3・4ともseqは飛びませんでした。テスト3は、テスト終了(0:15:23)の約6秒後にTTLが61へ戻り(戻りが東京回線に復帰)、約9秒後にRTTが7msへ戻りました(行きも東京回線に復帰したと判断)。172.16.2.10宛も、同じ0:15:28.9に戻り経路が東京回線へ戻っています。

172.16.1.10宛

[1794842128.321789] 64 bytes from 172.16.1.10: icmp_seq=13114 ttl=60 time=29.1 ms
[1794842128.522156] 64 bytes from 172.16.1.10: icmp_seq=13115 ttl=60 time=29.0 ms
[1794842128.722374] 64 bytes from 172.16.1.10: icmp_seq=13116 ttl=60 time=29.1 ms
[1794842128.912417] 64 bytes from 172.16.1.10: icmp_seq=13117 ttl=61 time=18.7 ms
[1794842129.112859] 64 bytes from 172.16.1.10: icmp_seq=13118 ttl=61 time=18.7 ms
[1794842129.313914] 64 bytes from 172.16.1.10: icmp_seq=13119 ttl=61 time=18.7 ms
[1794842129.514598] 64 bytes from 172.16.1.10: icmp_seq=13120 ttl=61 time=18.7 ms
[1794842129.715016] 64 bytes from 172.16.1.10: icmp_seq=13121 ttl=61 time=18.8 ms
[1794842129.916133] 64 bytes from 172.16.1.10: icmp_seq=13122 ttl=61 time=18.8 ms
[1794842130.116724] 64 bytes from 172.16.1.10: icmp_seq=13123 ttl=61 time=18.5 ms
[1794842130.318119] 64 bytes from 172.16.1.10: icmp_seq=13124 ttl=61 time=19.1 ms
[1794842130.518266] 64 bytes from 172.16.1.10: icmp_seq=13125 ttl=61 time=18.8 ms
[1794842130.718394] 64 bytes from 172.16.1.10: icmp_seq=13126 ttl=61 time=18.6 ms
[1794842130.919435] 64 bytes from 172.16.1.10: icmp_seq=13127 ttl=61 time=18.7 ms
[1794842131.120478] 64 bytes from 172.16.1.10: icmp_seq=13128 ttl=61 time=18.9 ms
[1794842131.320420] 64 bytes from 172.16.1.10: icmp_seq=13129 ttl=61 time=18.6 ms
[1794842131.522144] 64 bytes from 172.16.1.10: icmp_seq=13130 ttl=61 time=19.4 ms
[1794842131.711219] 64 bytes from 172.16.1.10: icmp_seq=13131 ttl=61 time=7.79 ms
[1794842131.912024] 64 bytes from 172.16.1.10: icmp_seq=13132 ttl=61 time=7.51 ms
[1794842132.112704] 64 bytes from 172.16.1.10: icmp_seq=13133 ttl=61 time=7.17 ms
[1794842132.313848] 64 bytes from 172.16.1.10: icmp_seq=13134 ttl=61 time=7.65 ms
[1794842132.514475] 64 bytes from 172.16.1.10: icmp_seq=13135 ttl=61 time=7.35 ms
[1794842132.714814] 64 bytes from 172.16.1.10: icmp_seq=13136 ttl=61 time=7.28 ms

172.16.2.10宛

[1794842128.330059] 64 bytes from 172.16.2.10: icmp_seq=12966 ttl=60 time=29.3 ms
[1794842128.530725] 64 bytes from 172.16.2.10: icmp_seq=12967 ttl=60 time=29.4 ms
[1794842128.731583] 64 bytes from 172.16.2.10: icmp_seq=12968 ttl=60 time=29.3 ms
[1794842128.921604] 64 bytes from 172.16.2.10: icmp_seq=12969 ttl=61 time=18.7 ms
[1794842129.121703] 64 bytes from 172.16.2.10: icmp_seq=12970 ttl=61 time=18.6 ms
[1794842129.322848] 64 bytes from 172.16.2.10: icmp_seq=12971 ttl=61 time=18.8 ms
[1794842129.523941] 64 bytes from 172.16.2.10: icmp_seq=12972 ttl=61 time=18.7 ms
[1794842129.724943] 64 bytes from 172.16.2.10: icmp_seq=12973 ttl=61 time=18.9 ms
[1794842129.926485] 64 bytes from 172.16.2.10: icmp_seq=12974 ttl=61 time=19.2 ms
[1794842130.126764] 64 bytes from 172.16.2.10: icmp_seq=12975 ttl=61 time=18.6 ms
[1794842130.327631] 64 bytes from 172.16.2.10: icmp_seq=12976 ttl=61 time=18.5 ms
[1794842130.528962] 64 bytes from 172.16.2.10: icmp_seq=12977 ttl=61 time=19.0 ms
[1794842130.729651] 64 bytes from 172.16.2.10: icmp_seq=12978 ttl=61 time=18.8 ms
[1794842130.930735] 64 bytes from 172.16.2.10: icmp_seq=12979 ttl=61 time=18.7 ms
[1794842131.131444] 64 bytes from 172.16.2.10: icmp_seq=12980 ttl=61 time=18.9 ms
[1794842131.331491] 64 bytes from 172.16.2.10: icmp_seq=12981 ttl=61 time=18.9 ms
[1794842131.531736] 64 bytes from 172.16.2.10: icmp_seq=12982 ttl=61 time=18.9 ms
[1794842131.732523] 64 bytes from 172.16.2.10: icmp_seq=12983 ttl=61 time=19.5 ms
[1794842131.932709] 64 bytes from 172.16.2.10: icmp_seq=12984 ttl=61 time=18.8 ms
[1794842132.133608] 64 bytes from 172.16.2.10: icmp_seq=12985 ttl=61 time=19.0 ms
[1794842132.333737] 64 bytes from 172.16.2.10: icmp_seq=12986 ttl=61 time=19.1 ms
[1794842132.533887] 64 bytes from 172.16.2.10: icmp_seq=12987 ttl=61 time=18.8 ms
[1794842132.734564] 64 bytes from 172.16.2.10: icmp_seq=12988 ttl=61 time=18.9 ms

テスト4は、テスト終了(0:19:19)の約7秒後にRTTが19msへ戻りました。172.16.1.10宛は変化していません。

172.16.1.10宛

[1794842365.749434] 64 bytes from 172.16.1.10: icmp_seq=14298 ttl=61 time=7.30 ms
[1794842365.950563] 64 bytes from 172.16.1.10: icmp_seq=14299 ttl=61 time=8.19 ms
[1794842366.150266] 64 bytes from 172.16.1.10: icmp_seq=14300 ttl=61 time=7.27 ms
[1794842366.351357] 64 bytes from 172.16.1.10: icmp_seq=14301 ttl=61 time=7.50 ms
[1794842366.552555] 64 bytes from 172.16.1.10: icmp_seq=14302 ttl=61 time=7.84 ms
[1794842366.753243] 64 bytes from 172.16.1.10: icmp_seq=14303 ttl=61 time=7.95 ms
[1794842366.952901] 64 bytes from 172.16.1.10: icmp_seq=14304 ttl=61 time=7.05 ms
[1794842367.152389] 64 bytes from 172.16.1.10: icmp_seq=14305 ttl=61 time=7.42 ms

172.16.2.10宛

[1794842365.585631] 64 bytes from 172.16.2.10: icmp_seq=14149 ttl=61 time=7.32 ms
[1794842365.786634] 64 bytes from 172.16.2.10: icmp_seq=14150 ttl=61 time=7.68 ms
[1794842365.987536] 64 bytes from 172.16.2.10: icmp_seq=14151 ttl=61 time=8.05 ms
[1794842366.198387] 64 bytes from 172.16.2.10: icmp_seq=14152 ttl=61 time=18.5 ms
[1794842366.399705] 64 bytes from 172.16.2.10: icmp_seq=14153 ttl=61 time=18.8 ms
[1794842366.600801] 64 bytes from 172.16.2.10: icmp_seq=14154 ttl=61 time=18.8 ms
[1794842366.802190] 64 bytes from 172.16.2.10: icmp_seq=14155 ttl=61 time=19.1 ms
[1794842367.003209] 64 bytes from 172.16.2.10: icmp_seq=14156 ttl=61 time=19.2 ms
[1794842367.203131] 64 bytes from 172.16.2.10: icmp_seq=14157 ttl=61 time=19.1 ms

8. 分かっていないこと

今回の検証範囲の限界として、私の体力の限界を感じて作業を中断している間にワークショップの利用時間が切れて環境が閉じたため、次の点は確認できていません。

テスト2で約137秒間不通となった原因

  • AWS側のログ(CloudTrailやVIFのメトリクス)は取っていません
  • BFDなしで大阪回線を落とす試験は1回しかできていません

コンソールの障害テストが、BGPセッションをどのように落としているのか

  • ルーターの show ip bgp neighbors の切断理由を見ておけば良かったと、後から気付きました。。悔しい

コンソールのテスト終了時刻が、最大時間と合わない理由

  • 最大時間3分のテスト1は3分24秒、テスト2は2分34秒、最大時間2分のテスト3は2分3秒、テスト4は2分5秒で終了しています。この辺りは表示上の仕様なのかなと捉えています

行きの経路

  • 行きの経路はRTTからの推定で、障害中にmtrで確かめた限りでの判断となっています

172.31.0.0/16(router2が主系)側にあるEC2との通信

  • 時間が足りず、試していないのでわかりません

往復の経路をそろえる設定の効果

  • こちらも時間が足りづ、試せていません

9. (参考)経路を非対称にしたくない場合の設定例(未検証です)

非対称な経路そのものは、BGPでは珍しくないと考えています。分散させて効率的に通信を行う上では非対称な経路も取りうる手段の1つと考えています。
ただ、途中にステートフルなファイアウォールがあると、行きを見ていない機器に戻りだけが届いて落とされることがあります。また、障害の切り分けでどの回線を通ったか、影響を受けたかを考えるときにも、往復で分かれていると読み解く手間が増えます。

往復をそろえたい場合は、主系をAWS側の宛先ごとではなくオンプレミス側のサブネットごとに決めるのが分かりやすいと考えます。
172.16.2.0/24は大阪回線、それ以外は東京回線で、行きも戻りも通す形です。そのためには、次の2つを変えればいいと考えていました。

1つ目は、VRRPのグループを分け、172.16.2.0/24側の仮想IPだけrouter2をMASTERにすることです。今回の環境では、172.16.1.1と172.16.2.1が同じグループ(VRID 1。VRIDはVRRPのグループ番号)に入っており、どちらもrouter1がMASTERでした。
2つ目は、AWS-INのLocal Preference 50をやめることです。こうすると、各ルーターは自分の回線で受けた経路(eBGP)をiBGPより優先するので、router1に入った戻りは東京回線、router2に入った戻りは大阪回線から出ます。

この形にすると、172.31.0.0/16宛はrouter2を主系にする、という、オンプレミスからAWS方向の制御はなくなります。宛先のVPCではなく、送り元のサブネットで回線が決まるからです。
その代わり、片系が落ちたときも、たとえば東京回線が落ちれば172.16.1.10宛は行きが大阪回線、戻りがrouter1→router2→大阪回線となり、往復で同じ回線を通ります。

本当はこの設定も入れて、同じ障害テストで往復がそろうかを確かめたかったのですが、4回の試験を終えたところで私の体力と共にワークショップの利用時間が切れ、環境が閉じてしまいました。ここに書いた方法は、今回の構成とログから考えたもので、実機では試せていません。

10. (予想)re:Invent 2026で、Direct Connectにもパケット複製は来る?

この記事を書いている最中に、AWSのネットワークで大きなアップデートがありました。VPCピアリング、Transit Gateway、Cloud WANのリージョン間通信で、可用性99.999%のSLAが提供されるようになりました。

2026年11月18日時点の情報です。10.3節は、発表内容と現在のDirect ConnectのSLAをもとにした私の推測です。

10.1 今回の発表のポイント

Multipath Resilienceという機能で、各パケットのコピーを物理的に異なる経路へ同時に送り、宛先のリージョンでは最初に届いたものを使って残りを捨てます。
そのため、一方の経路でパケットが落ちても、経路の切り替えを待たずに通信が続きます。
アプリケーションのコードやOSを変える必要はありません。

対象はリージョン間の通信だけで、全区間がAWSのバックボーンの中に収まります。この前提があるから成り立つ仕組みだと考えます。2026年11月18日時点の提供リージョンは、米国の4リージョンと欧州(アイルランド)だけです。

10.2 今のDirect Connectの位置づけ

Direct ConnectのSLAは、最大回復性モデル(Maximum resiliency)の99.99%が最高で、その下が高い回復性モデル(High resiliency)の99.9%です。

ただし、Direct Connectの冗長化は、BGPによる経路の切り替えが前提です。今回の試験でも、BFDを入れて約2秒は通信が途切れました。切り替える方式である限り、切り替えの間の通信断は避けられません。

10.3 アップデート予想

今回の仕組みをDirect Connectでやろうとすると、AWSの外にある区間(キャリアの回線とオンプレ側のルーター)をどう扱うかが、一番の壁になると考えます。

一番現実的なのは、まずDirect Connectロケーション〜リージョン間だけを複製する形だと思います。
Direct Connectロケーションからリージョンまではバックボーンなので、今回の仕組みをほぼそのまま使えるのではないでしょうか。一方、オンプレ側の拠点からDirect Connectロケーションまでの区間は、これまでどおり利用者の責任で冗長化することになりそうです。

今回の提供は米国の4リージョンとアイルランドだけなので、東京・大阪のDirect Connectロケーションで使えるようになるのは、さらに先になると思います。

99.999%の稼働率は、月に換算すると30秒弱(30日で約26秒)の停止時間です。1ヶ月でたった30秒のダウンって、ロマンを感じませんか?
個人的には、まずこの形で、Cloud WANとDirect Connectの組み合わせから出てくる夢を見ました。

11. まとめ

Direct Connectの冗長構成で、コンソールの障害テストを使って片系ずつBGPを落とし、AWS側のEC2からのpingで切り替え時間と経路を追ってみました。

通信断は、東京回線が約2.4秒(BFDの有無で同じ)、大阪回線はBFDなしで約137秒、BFDありで約2.0秒でした。
4回とも、元に戻すときの通信断はゼロで、テスト終了の5〜7秒後に戻りの経路から順に元へ戻りました。

今回試してみて改めて感じたことは、4つあります。
まず、片系を落とすと、主系の宛先だけでなく戻りの経路まで変わるということです。戻りがVRRPのMASTERに集まる構成では、主系でない宛先の通信もルーター間のリンクを通る遠回りになりました。行きのルートを見るだけでは気づけないので、pingのTTLとRTTを並べて見る価値は大きいと感じました。
次に、障害試験は落とす側を入れ替えて両系ともやらないと分からないということです。東京回線だけで終えていたら、2秒で切り替わる構成だと結論していたはずです。
そして、同じ条件で複数回測る、比較したい条件以外はそろえておく、という基本の大切さです。テスト2を1回しか測れなかったために、137秒が再現するものなのか、BFDで本当に変わったのかを言い切れませんでした。
最後に、やっぱりネットワークって面白いなとしみじみ思いました。

ワークショップは構築して確認するところまででも十分学びがありますが、実際に落として測ってみると、設計どおりに見えていた構成の別の顔が見えてきます。ワークショップの内容は公開されていないので、興味を持たれた方は、ぜひ次回開催されたときに参加してみてください。

これからDirect Connectの冗長構成を検証されるどなたかの参考になれば幸いです。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?