4
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

AWSの障害をGlobal Acceleratorで回避できた話

Last updated at Posted at 2021-12-16

AWSの障害

昨夜(2021-12-16の日本時間0時過ぎ)、アメリカの方のAWSに障害があったようです。
うちの監視システムでも検知して、Twitter界隈ではPlay Station Networkが巻き込まれて大騒ぎになっていたようですが、AWSのStatusには障害情報はありませんでした。

うちのサービス環境

うちの会社ではQUALITIA DNSというDNSのホスティングサービスを運用しているのですが、DNSは落とすわけにはいかないので、複数のクラウドサービス、リージョンに分散して運用しています。

この中で、AWSで運用している部分は現時点では、日本、シンガポール、フランクフルト、サンフランシスコにサーバーがあって、Global Accelaratorでリージョンを冗長化している状態です。

また、監視は、AWSの東京リージョン、日本のAWS外のサーバー、サンフランシスコのAWS外のサーバーからそれぞれの各サーバーとGlobal Acceleratorを監視しています。

worldmap1.png

監視元ごとの状況

こらちは、監視元ごとの失敗のグラフです。

failed_by_source.png

緑は日本のAWS外のサーバーから、紫はサンフランシスコのAWS外のサーバーから、水色はAWSの東京リージョンからの監視状況です。
DNSのリクエストが失敗した数のグラフになっています。

これを見るとAWS内では問題がなくて、外からAWSへの回線か何かに問題があったのではないかという風に見えます。

worldmap2.png

赤い線が障害のあったルートです。

サーバーごとの状況

こらちは、監視対象ごとの失敗のグラフです。

failed_by_server.png

ns-sf-*はサンフランシスコリージョンのサーバーを直接監視したもので、ns-ga-*はGlobal Accelerator経由で監視したものです。
b, cはAvailability Zoneです。

これを見ると、サーバー直接では障害が起きていますが、Global Accelerator経由では別の生きているリージョンに回されるので、日本からでもサンフランシスコからでも接続に問題なかったことがわかります。

この結果から、AWS網内は生きていて、インターネットからサンフランシスコ辺りのAWSへのネットワークがおかしかったんではないかと想像できます。

結論

ということで、QUALITIA DNSサービスのお客様から見た状態は、ほぼ完全に無停止でした。

Global Accelerator素晴らしいですね。

*本記事は @qualitia_cdevの中の一人、@hirachanさんに書いていただきました。

4
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
4
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?