0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【IT業界25年目】ADHDポンコツ鬱エンジニアが人生賭けて運営中の求人サービス『ヴェテラン』でも他人事じゃない「Microsoft 365大規模障害」と、障害対応でやってはいけない危険コマンド

0
Posted at

皆さんこんにちは!

今日は11月13日、まさかの13日の金曜日ですね。

朝起きてOutlookが開かなかった方は、

「よっしゃ!マイクロソフトから有給の支給や!」

と一瞬思ったかもしれません。

障害だって。。顧客から電話鳴りやまねーよ。

ということで、

前回は「QuboleのAWS信頼関係が悪用された」ニュースを題材に、

『解約したSaaSのIAMロールが攻撃の入口になる話&ベンダー連携でやってはいけない危険設定』

について書かせていただきました。

今回も調子に乗って、

まさに今日の未明から話題になっている**「Microsoft 365で大規模障害、Outlookでメールにアクセスできず、Teamsなど複数サービスに影響」**というニュースを題材に、

『SaaSが止まったときに慌てないための備え&障害対応でやってはいけない危険コマンド』

について初心者向けに楽しくガッツリ語っていきます!

ニュースを見て

「朝イチで送るはずだった見積もりメールが送れない……」

「Teamsも怪しいし、障害の連絡はどこでするの!?」

と朝から胃が痛くなった方も多いはず。

今回の障害は、原因の構造そのものが、AWSでサービスを運営している私たちにとっても超勉強になる内容でした。

では、私のようなプロフェッショナルポンコツエンジニアが、この障害から何を学ぶべきか、具体的に見ていきましょう!


1. 何が起きたのか?

報道をもとに、ざっくり整理します(報道時点の情報です)。

  • 11月12日(米国時間)、Exchange Onlineのメールボックスに接続できない障害が発生
  • Outlookは、Web版・デスクトップ・モバイルのすべてに影響
  • MAPI、ActiveSync、REST経由の接続にも影響
  • Microsoftは日本時間13日 午前2時54分に公式Xで調査中と発表
  • 当初は米大陸のユーザーとしていたが、あらゆる地域に影響の可能性と説明を改めた

影響を受ける可能性があるサービスとして挙げられたのは、こちらです。

  • Exchange Online
  • Microsoft Teams
  • SharePoint Online
  • Microsoft 365 Copilot
  • Microsoft Defender XDR
  • Microsoft Planner
  • Microsoft To Do
  • Microsoft Purview(DLPや自動ラベル付けなど)

さらに、管理者向けのMicrosoft 365管理センターにもアクセスしにくい状態になりました。

Microsoftは、管理センターを使えない管理者に向けて、公開ステータスページで情報を確認するよう呼びかけています。

「障害を確認するための画面も、障害で見られない」

これ、インフラ担当者としては一番イヤなやつですね。

でも、明らかに仕事とまって喜んでるやつもいるんだよな~。

小学生が学校休みになったみたいにウキウキしやがって。俺もか。。


2. 原因の構造が「あるある」すぎる

Microsoftの説明によると、原因の構造はこんな感じでした。

[ 多数のサーバが予期せず応答しなくなる ]
        │
        ▼
[ 自動ヘルスチェックに失敗 → 利用不可として切り離される ]
        │
        ▼
[ 残ったサーバに負荷が集中 ]
        │
        ▼
[ 残ったサーバも耐えきれず接続エラー ]  ← いわゆる「カスケード障害」

ポイントは、負荷の原因はトラフィックの増加ではなかったことです。

サーバが減ったことで、残りのサーバに負荷が押し寄せたんですね。

さらに当初は「障害と同時期の変更は見つかっていない」としていましたが、再調査で少数の構成変更が見つかり、それが一因になった可能性を調べているそうです。

Microsoftが行った対応も、とても参考になります。

  • すべてのデプロイを一時停止
  • 接続トラフィックを世界中のインフラに振り分けて負荷を分散
  • 影響を受けたサーバを再起動
  • 別の方法でヘルスチェックを行うよう検証し、一部のサーバが復旧
  • 応答しなくなったサーバを自動で検出・再起動する仕組みの導入を準備

「ヘルスチェックの設計」と「障害中の変更凍結」

この2つは、AWSでサービスを運営している私たちにもそのまま当てはまります。


3. やってはいけない「ポンコツ危険コマンド」3選

① DBまで見に行く「重すぎるヘルスチェック」をALBに設定する

【危険!】DBが遅くなった瞬間に、全サーバが「不健康」判定

aws elbv2 modify-target-group \
  --target-group-arn arn:aws:elasticloadbalancing:...:targetgroup/web/xxxx \
  --health-check-path /health/full \
  --health-check-timeout-seconds 2 \
  --unhealthy-threshold-count 2

/health/full の中で、DB接続・外部API・キャッシュなどを全部チェックしているとします。

一見しっかりしているように見えますが、DBが少し遅くなっただけで、全サーバのヘルスチェックが一斉に失敗します。

その結果、

  • 何台かのサーバが切り離される
  • 残ったサーバに負荷が集中する
  • 残ったサーバもヘルスチェックに失敗する

という、今回のMicrosoftと同じカスケード障害の構造が完成します。

ちなみにALBは、ターゲットが全部「不健康」になった場合、**全ターゲットにリクエストを流す(フェイルオープン)**動きをします。

完全停止は避けられますが、「どのサーバが本当に壊れているのか」が分からない状態になるのは同じです。

対策はこちらです。

  • ALBのヘルスチェックは、「そのサーバ自体が応答できるか」だけを見る軽いものにする
  • DBや外部サービスの状態は、**別の監視(CloudWatchアラームなど)**で見る
  • タイムアウトと閾値は、少し余裕を持たせる
aws elbv2 modify-target-group \
  --target-group-arn arn:aws:elasticloadbalancing:...:targetgroup/web/xxxx \
  --health-check-path /health/live \
  --health-check-timeout-seconds 5 \
  --unhealthy-threshold-count 3

② 「ログインできない!」と言われて、条件付きアクセスやMFAを無効化する

【危険!】障害の混乱に乗じて、セキュリティの扉を全開にする

Update-MgIdentityConditionalAccessPolicy `
  -ConditionalAccessPolicyId $policyId `
  -State "disabled"

障害中は、社内から

「ログインできない!」「MFAの画面が出ない!」

という問い合わせが殺到します。

焦って条件付きアクセスやMFAを一時的に無効化すると、

  • そもそも障害の原因はそこではないので、直らない
  • しかも、攻撃者にとって一番入りやすい状態ができあがる
  • そして、障害が直った後に元に戻すのを忘れる

というトリプルコンボが発生します。

障害のときこそ、セキュリティ設定には触らないのが鉄則です。

どうしても緊急で管理作業が必要な場合に備えて、平常時から、

  • **緊急用の管理者アカウント(ブレークグラスアカウント)**を用意しておく
  • その手順と保管場所を、チームで共有しておく

ことをおすすめします。

③ 「メールが使えないから」と個人のGmailに転送設定する

【危険!】業務メールを丸ごと外部に流し始める

Set-Mailbox -Identity "tanaka@example.co.jp" `
  -ForwardingSmtpAddress "tanaka.private@gmail.com" `
  -DeliverToMailboxAndForward $true

「とりあえず個人のGmailで受け取れるようにしよう!」

その気持ちは分かります。でも、

  • 今回のようにメールボックス自体に接続できない障害では、そもそも転送されない
  • 障害が直った瞬間から、業務メールが個人アカウントに流れ続ける
  • 顧客の個人情報や機密書類が、会社の管理外に出ていく

という、障害よりも重い情報漏洩事故になりかねません。

しかも今回は、PurviewのDLP(データ損失防止)にも影響が出ていたとのことです。

普段なら止めてくれるはずの仕組みが、止めてくれないかもしれない状態なんです。

個人のメールやLINEで業務ファイルを送るのも同じです。

障害時の代替手段は、平常時に会社として決めておくのが正解です。


4. SaaSが止まったときのための備え

「Microsoft 365が止まったらどうするか」を、平常時に決めておきましょう。

【平常時に決めておくこと】
  ├ 障害時の連絡手段(Teams以外の手段を1つ)
  ├ ステータスの確認先(公開ステータスページ、公式X)
  ├ 緊急用の管理者アカウントと、その手順
  └ 顧客への連絡方法(メールが使えない場合)

【障害中にやらないこと】
  ├ セキュリティ設定の無効化
  ├ 個人アカウントへの転送・送信
  ├ 不要不急のデプロイや設定変更
  └ 「Microsoftサポートを名乗るメール」のリンクを踏む

最後の1つも大事です。

大規模障害のニュースが出ると、それに便乗したフィッシングメールが出回ることがあります。

「障害対応のため、こちらから再ログインしてください」

といったメールが来ても、リンクは踏まずに、公式のステータスページを自分で開いて確認しましょう。

ちなみに、AWS側の障害に備えるなら、AWS Healthのイベントを EventBridge で受け取って、Slackなどに通知しておくと便利です。

監視・通知の経路が、監視対象と同じサービスに依存していないかも、あわせて確認しておきたいところですね。


まとめ

  • Microsoft 365でExchange Onlineを中心とした大規模障害が発生した
  • 原因は、サーバの応答停止 → ヘルスチェックで切り離し → 残りに負荷集中というカスケード障害の構造
  • ALBのヘルスチェックは、DBまで見に行かない軽いものにする
  • 障害時こそ、MFAや条件付きアクセスを無効化しない
  • 「メールが使えないから」と個人アカウントに転送しない
  • Microsoftも行ったように、障害中はデプロイや設定変更を止める
  • 代替の連絡手段や緊急用アカウントは、平常時に決めておく

障害は、起きてから考えても遅い。

13日の金曜日をきっかけに、ぜひ一度チームで「SaaSが止まったらどうする?」を話し合ってみてくださいね!

最後に、AWSのベストプラクティスとセキュリティを徹底し、安心・安全に運営しているIT求人サービスは以下になります。

企業の方も、エンジニアの方も、ぜひ使ってみてくださいね!

▼求人マッチングサービス【ヴェテラン】
https://veteran-work.com/
logo_ol_S.png

「うちの現場では障害時の連絡手段をこう決めてるよ!」

「ヘルスチェックの設計、こうしたら安定した!」

など質問やご意見いただけますと次回はもっと頑張っちゃいますよっ!

今週もお疲れ様でした。

明日は週末ですが、無駄にしないよう大切に生きましょう。

Microsoft 365障害対策大全.png

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?