0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Microsoft 365大規模障害、アクセスは増えていないのに、なぜ復旧したサーバーまで再び落ちたのか【MO1550821】

0
Posted at

2026年11月12日(米国時間)、Microsoft 365で世界規模の障害が起きました。日本では13日の未明から、Outlookでメールが開けない、Teamsで会議が予約できない、Copilotが応答しない、といった状態が広がり、Microsoftが「残りの顧客と地域へのサービス復旧を完了した」と発表したのは14日になってからです(@MSFT365Status)。

この障害の経過を追っていくと、いくつか引っかかる点が出てきます。Microsoftは早い段階で「負荷が上がっているのはトラフィック全体が増えたからではない」と説明していました。それでも世界中で落ちました。さらに、いったん復旧させたサーバーが、トラフィックを受け始めた途端にまた応答しなくなっています。最終的な原因の説明は「以前のネットワーク容量増強で入り込んだ問題が、最近のネットワーク変更で表面化した」というもので、直前の変更だけを見ていては見つからないタイプの不具合でした。

この記事では、Microsoftが障害中に出した更新を時系列で読み、ヘルスチェックやロードバランサーの仕組みから順に、「なぜ広がったのか」「なぜ復旧後にまた落ちたのか」を考えます。後半では、SLA補償でどこまで取り戻せるのか、そして自分のシステムで何を確認すればよいかをまとめました。

この記事の前提(2026年11月14日 18時 JST時点)

  • Microsoftの正式なPost-Incident Report(PIR)はまだ公開されていません。根本原因の詳細は、PIR公開後に変わる可能性があります。
  • 筆者の環境からはMicrosoft 365管理センターと status.cloud.microsoft を直接参照できませんでした。Service healthの更新文は、@MSFT365Statusの投稿と、更新文を記録・転載している第三者サイトで確認しています。経由したサイトは各所に明記しました。
  • 本文では情報の確度を次の3つで分けています。
    • 【公式】 Microsoftが発表・説明した内容
    • 【第三者】 報道や監視サービス、解説サイトが報告した内容
    • 【推測】 公開情報からの筆者の技術的な推測

先に3行で

  1. 【公式】 サーバーが自動ヘルスチェックに失敗して次々とサービスから外れ、残ったサーバーに負荷が集中した。サーバー上では「セキュアな接続を確立するプロセス」が過負荷になっていた。
  2. 【公式】 復旧させたサーバーもトラフィックを受けると再び落ちた。効果が見え始めたのは「上流の認証/ルーティング構成コンポーネント」へのパッチと、サーバーを少しずつ戻す段階的な復旧からだった。
  3. 【推測】 これは、きっかけが去っても過負荷が自己維持してしまう「メタステーブル障害」に近い形で、ヘルスチェック、再接続、ルーティングのリトライといった、普段はシステムを守る仕組みが負荷を増幅する側に回っていた可能性が高い。

1. 前提知識:大規模サービスは「壊れたサーバーを外す」ことで動いている

障害の話に入る前に、今回のキーワードになる仕組みを、必要な分だけ確認しておきます。すでに知っている人は2章まで飛ばしてください。

ロードバランサーとヘルスチェック

Outlookからメールボックスに接続するとき、リクエストはまず手前にあるロードバランサー(以下LB)が、背後にある多数のサーバーのどれかに振り分けます。

LBは定期的に各サーバーへ「生きていますか」と問い合わせます。これがヘルスチェックです。決められた回数続けて応答がなかったり、エラーが返ったりしたサーバーは「不健全」と判定され、振り分け先から外されます。

1台が壊れても、ほかのサーバーが代わりに処理するので、利用者からは障害が見えません。冗長化とフェイルオーバーの基本的な考え方です。

この仕組みには前提があります。「壊れるのは一部で、残りのサーバーには余力がある」という前提です。ここが崩れると話が変わってきます。

「セキュアな接続の確立」とTLS

HTTPSで通信するとき、クライアントとサーバーは最初にTLSハンドシェイクを行います。暗号方式を決め、証明書を検証し、鍵を交換する手続きです。公開鍵暗号の計算を含むため、確立済みの接続でデータをやり取りするのに比べて、CPUの負担が大きい処理です。

そのため、普段は一度張った接続をなるべく使い回します。逆に言うと、大量のクライアントが一斉に接続し直す状況では、サーバーのCPUがハンドシェイクだけで埋まってしまうことがあります。

Microsoftの発表文は「a process ... responsible for establishing secure connections(セキュアな接続を確立するプロセス)」で、TLSとは明言していません。国内の報道ではTLSハンドシェイク処理の過負荷として紹介されています(Data is CITY)。本記事ではTLSハンドシェイクを有力な解釈として扱いますが、【推測】の範囲です。

カスケード障害とメタステーブル障害

1か所の障害が別の場所の障害を引き起こし、ドミノ倒しのように広がるのがカスケード障害です。

それに加えて今回考えたいのが、メタステーブル障害(metastable failure)という考え方です。Bronsonらが2021年に整理したもので、システムは平常時から「何かきっかけがあると抜け出せなくなる状態(vulnerable)」で動いていることがあり、きっかけ(trigger)で過負荷に入ると、リトライなどの仕組みが負荷を維持し続けるため、きっかけが取り除かれても回復しない、という障害のパターンです(Bronson et al., HotOS '21)。この論文では、こうした障害は普段の挙動を良くするための最適化や方針から自然に生まれる、と述べられています。

この考え方を頭に置いて時系列を読むと、今回の経過がかなり見通しやすくなります。

2. 時系列:4つの局面で読む

EX1550543(Exchange Online)とMO1550821(Microsoft 365全体)には、ほぼ同じ内容の更新が並行して出ています。以下はまとめて扱い、時刻は日本時間(JST)で書きます。第三者サイトによって記録時刻が数分ずれることがあるため、「頃」と書いたものはその幅を含みます。

第1幕:負荷は増えていないのに、サーバーが消えていく(13日 01時〜06時)

JST 【公式】Microsoftの更新 出典
01:17 EX1550543開始。南北アメリカで、複数の接続方法でメールボックスに接続できない LazyAdmin、Cybersecurity News
01:55頃 影響しうる接続方式として OWA、MAPI、EAS、REST を提示 ENow
03:19頃 複数リージョンで負荷が上昇。再起動・修復・リダイレクトを実施 同上
03:26 MO1550821開始。その後「どのリージョンのユーザーにも影響しうる」と範囲を拡大 UC Today、ABC News
04:06 すべてのデプロイと構成変更を一時停止 DEV(epifive)
04:18 負荷上昇はトラフィック総量の増加によるものではない。多数のサーバーが想定外に利用できなくなっている 同上
04:43 影響サーバーが自動ヘルスチェックに失敗して利用不能になっている。ヘルスチェック処理に関わるコンポーネントへの最近の変更が関係している可能性 同上
04:57 影響開始と相関する最近の変更は見つかっていない。サービスからの切り離しを一時停止し、バイパスを試験。高いCPU使用率も調査中 同上、ENow
05:57頃 代替のヘルスチェック方式が一部のサーバーで有効だったため展開を拡大。応答しないサーバーを自動で再起動する仕組みも準備 ENow

最初の数時間で、Microsoftは問題の形をかなり正確につかんでいます。04:18の「トラフィック総量は増えていない」は、DDoSやアクセス集中の可能性を早めに外した、意味の大きい判断です。そのうえで、ヘルスチェックの判定を止め、別の判定方式に切り替えています。これは1章で見た「壊れたサーバーを外す」仕組みそのものを疑った対応で、仕組みが負荷集中を加速させている可能性に気づいていたことがうかがえます。

第2幕:戻したサーバーが、また落ちる(13日 07時〜10時)

JST 【公式】Microsoftの更新 出典
07:00頃 サーバー上の中核プロセスが過負荷になり、サーバーが応答を止めて容量が失われている。インフラの一部を隔離して再起動 ENow、@MSFT365Status
07:58頃 一部サーバーが復帰して安定。代替経路へトラフィックを移し、限定的に回復。容量が戻るにつれ、クライアントの再接続に合わせて段階的に回復すると案内 @MSFT365Status
09:00頃 復旧したサーバーが、トラフィックを受け始めると再び応答不能になる。一部の通信種別を地域限定で制限し、一部サーバーを以前のソフトウェア構成で再構築 ENow、Control Plane
10:06 セキュアな接続を確立するプロセスが過負荷になり、サーバーが要求を処理しなくなる。影響開始と相関する最近のネットワーク構成変更の切り戻しを開始 DEV(epifive)、365fanatic

今回の障害でいちばん興味深いのがこの局面です。サーバーを再起動すれば健全な状態で立ち上がり、ヘルスチェックも通ります。ところが本番のトラフィックが流れ込むと、数時間待たされていたクライアントが一斉に接続し直してくるため、接続確立の処理で再び詰まります。

もうひとつ注目したいのは、原因の見立てが動いている点です。04:57には「相関する最近の変更は見つかっていない」とされていたのが、10:06には「相関する最近のネットワーク構成変更」の切り戻しが始まっています。epifiveの記事が指摘しているとおり、「相関している」と「原因である」は別の話です(DEV(epifive))。

第3幕:手を打っても効かない(13日 10時〜15時)

JST 【公式】Microsoftの更新 出典
10:50頃 再起動で良好な結果。安定性を監視 LazyAdmin
12:00頃 変更が期待どおりに効いていない。トラフィック管理の偏りが続くため、別の容量確保策を探る 同上、ENow
12:34頃 悪意ある活動の結果である兆候はない DEV(epifive)
13:10頃 プロトコル調整、トラフィック再配分、トラフィック遮断を実施。部分回復は持続せず ENow
13:56頃 ルーティングサービスからバックエンドサーバーへのアウトバウンド呼び出しが急増。バックエンドへ正しくルーティングできないときに起きる現象。VMをスケールアップし、最近のネットワーク変更の強制同期を試みたが、マシンが不正な状態で止まり同期できない 同上、Control Plane

13:56の更新は、原因に近づくうえで大きな手がかりだと筆者は見ています。「ルーティングできないと、ルーティング層からバックエンドへの呼び出しが急増する」という説明は、正しい宛先にたどり着けない呼び出しが、リトライや再試行の形で何倍にも膨らんでいたことを示唆します。総トラフィックが増えていないのに負荷が高い理由として、筋が通ります。【推測】

もうひとつ、ここで復旧手段そのものが詰まっています。VMを増やしても、構成変更を同期させようとしても、マシンが不正な状態で止まっていて反映できません。障害対応の手順書は「管理系の操作は正常に動く」前提で書かれがちですが、その前提が崩れた状態です。

第4幕:認証/ルーティングのパッチと、慎重すぎるほどの段階復旧(13日 16時〜14日)

JST 【公式】Microsoftの更新 出典
16:25頃 上流の認証/ルーティング構成コンポーネントへのパッチで、一部サーバーの安定性に良い結果 DEV(epifive)、365fanatic
17:06頃 効果を確認し、業務時間帯に入る地域を優先して展開を拡大 Data is CITY
18:00頃 遅延メールが失われないよう、メールのタイムアウト期間を48時間に延長 DEV(epifive)
18〜19時頃 容量はまだ平常に戻らない。サーバーをドレイン → 再起動 → 修復 → 段階的に復帰のサイクルで処理 365fanatic、Cloud Admin Hub
20:01頃 アジア太平洋の一部で復旧作業が完了 365fanatic
21時頃 欧州改善、日本はより安定、北米も改善 同上
22:00頃 北米と欧州の大部分で回復 同上
23:01頃 メールキューが大幅に減り、平常に近づく 同上
14日 02:57 謝罪と原因説明。以前のネットワーク容量増強で生じた問題が、最近のネットワーク変更のあとに表面化した。サイバー攻撃やAI/エージェントとは無関係。各段階で安定性を確かめながら段階的に復旧させた MacRumors、@MSFT365Status
14日 05:01 滞留メールを流しながらトラフィックを振り直している。サインインやアクセスが先に戻り、配信はあとから追いつく Data is CITY
14日 07:00 影響の大半は緩和済み。滞留メールの処理が終わるまで解決とはしない 同上
14日 午後 「根本的な問題への対処を完了し、残りの顧客と地域へのサービス復旧を完了した」 @MSFT365Status

最後の復旧宣言の正確な投稿時刻は、筆者は一次情報で確認できていません。この投稿を引用した記事は、遅くとも14日 07:27 UTC(16:27 JST)に配信されています(Asharq Al-Awsat)。直前の14日 午後の時点では、一般消費者向けは完全に回復し、法人向けは影響の大きさを踏まえて長めに監視している、と報じられていました(Yass Tribune(AAP))。

Service health上の開始・終了時刻について【第三者】
LazyAdminは、Service healthに記録された時刻として、EX1550543を「11/12 11:05〜11/13 17:10(CET)、30時間5分」、MO1550821を「11/12 11:05〜11/13 05:10(CET)、18時間5分」と紹介しています。同時に、記録上の開始時刻と、多くのユーザーが問題に気づいた時刻(17時頃 CET)がずれていることも指摘しています(LazyAdmin)。MO1550821の終了時刻は、その後も更新が続いた経過と合いません。筆者は管理センターで確認できていないため、この数値はそのまま採用せず、SLA請求などには自テナントのService healthの記録を使うことをおすすめします。

3. 影響範囲:Teamsは動いていたのに、会議が予約できなかった理由

【公式】Microsoftは、Exchange Onlineやメールサービスとやり取りする機能が影響を受け、Exchangeに依存しない部分は動作していると説明しています(SecurityWeek)。Service healthの記録では、次のような機能が影響範囲に挙がっていました(365fanatic)。

分類 主な影響
Exchange Online Outlook on the web、Outlookデスクトップ(MAPI)、Exchange ActiveSync、REST。メール配信の遅延
Teams 予定表、会議のスケジュール、プライベート/共有チャネルの作成など
管理・セキュリティ 管理センター、Defender、Purview(DLP、電子情報開示を含む)、Intune
そのほか Graph、Planner、Power Apps、Copilot、SharePointの外部共有、Universal Print、Viva Engage、Customer Keyを使うテナントのWindows 365

Teamsでは、通話・会議・チャットの多くは動いていて、会議の予約や予定表への登録でエラーが出ていました(MacRumors)。Teamsの会議はExchangeの予定表に乗っているので、Exchangeが止まると「Teamsは開けるのに会議が作れない」という状態になります。Windows 365がCustomer Keyのテナントだけ影響を受けているのも、暗号鍵の扱いがExchange側の何かに依存しているのだろうか、と考えさせられる記載でした(この点の詳細は公表されていません)。

【第三者】周辺への波及としては、OpenAIとAnthropicのMicrosoft連携機能で問題が起き、インドの航空会社がメールでの顧客対応に影響が出たと発表したことが報じられています(The Edge Malaysia(Reuters))。AnthropicのClaude用Microsoft 365コネクタのエラーは、13日01:03〜14日01:40(JST)と記録されています(Data is CITY)。Downdetectorへの報告は、ピーク時に4万7千件を超えたとされています(WindowsForum)。

4. 原因を読み解く

4-1. 公式に確認できた事実

Microsoftの説明を、原因から結果の順に並べ直すとこうなります。

  1. 【公式】 以前のネットワーク容量増強の際に問題が入り込み、最近のネットワーク変更のあとに表面化した(MacRumors)
  2. 【公式】 ルーティングサービスからバックエンドへのアウトバウンド呼び出しが急増していた。これはバックエンドへ正しくルーティングできないときに起きる(ENow)
  3. 【公式】 サーバー上のセキュアな接続を確立するプロセスが過負荷になり、サーバーが要求を処理しなくなった(365fanatic)
  4. 【公式】 サーバーは自動ヘルスチェックに失敗して利用不能になり、残りのサーバーに負荷が集中した。トラフィック総量は増えていない(DEV(epifive))
  5. 【公式】 復旧したサーバーも、トラフィックを受けると再び応答不能になった(Control Plane)
  6. 【公式】 上流の認証/ルーティング構成コンポーネントへのパッチで安定性が改善した(DEV(epifive))

注意したいのは、1〜6のつながりはMicrosoftが説明したものではないことです。それぞれの事実は公式ですが、「2が3を引き起こした」「6が1の問題を直した」といった因果は、まだPIRで確認されていません。

4-2. 【推測】連鎖のシナリオ

上の事実をいちばん自然につなげると、筆者には次のような流れに見えます。

ポイントは、図の下半分にループが2つあることです。

  • 除外のループ:負荷で落ちる → 外される → 残りの負荷が上がる → さらに落ちる
  • 再接続のループ:落ちる → クライアントが接続し直す → ハンドシェイクが増える → さらに落ちる

どちらも、正常時にはシステムを守っている仕組みです。ヘルスチェックは壊れたサーバーへの誤送信を防ぎ、クライアントの自動再接続は利用者が何もしなくても復旧できるようにしています。それが、全体の余力がなくなった状態では負荷を増幅する方向に働きます。

4-3. 【推測】なぜ「復旧したサーバーがまた落ちた」のか

ここで1章のメタステーブル障害が効いてきます。

サーバーを再起動するのは、メタステーブル状態の中で1台だけ健全に戻す操作です。そこに、待たされていた大量のクライアントと、膨らんだルーティング層の呼び出しがまとめて流れ込めば、戻した1台はすぐ埋まります。きっかけ(ネットワーク変更)を切り戻しても回復しなかったことも、このモデルとは矛盾しません。

この状態から抜けるには、流入そのものを外から絞る必要があります。実際にMicrosoftが取った手段は、通信種別の制限、トラフィックの遮断、保護的なトラフィック管理、そしてドレイン→再起動→修復→段階復帰のサイクルでした(ENow、365fanatic)。Microsoftは「この進め方は時間がかかったが、安定した復旧のためだった」と説明しています(MacRumors)。日本時間13日の夕方以降、回復が持続し始めたのは、根本の構成を直すパッチと、この「戻す速度の制御」がそろってからでした。

4-4. 【推測】なぜ何重もの冗長化で防げなかったのか

Microsoft 365は複数のリージョン、多数のサーバーで冗長化されています。それでも影響は南北アメリカから全リージョンに広がりました。考えられる理由は3つです。

同じ不具合を全員が持っていた。 冗長化は「ランダムに壊れる」ことには強い一方、構成やソフトウェアが共通なら、同じ条件で同時に壊れます。容量増強で入った構成がリージョンをまたいで共通だったなら、リージョン冗長は効きません。

逃がした先にも同じ負荷が届いた。 Microsoftは初期にOutlookのトラフィックを世界規模で再配分しています(ENow)。障害の原因が個々のサーバーにある場合、これは有効な手です。ところが原因がルーティング層や接続処理にあると、移した先でも同じ過負荷が起き、影響範囲を広げてしまう可能性があります。

守るための判定が共通だった。 ヘルスチェックの仕組みが全体で共通なら、判定ロジックの誤りや過敏さも全体で共通です。04:43の「ヘルスチェック処理に関わるコンポーネント」という言及は、この点を疑っていたことを示しています。

4-5. 今年の別の障害との関係は?

2026年のMicrosoft 365では、ほかにも大きな障害が起きています。

  • 1月22日:北米のホストインフラの一部でメンテナンス中に容量が縮小し、そこに高い負荷がかかった(ケータイ Watch)
  • 8月31日〜:中核の認証構成に問題があり、Exchange Onlineを中心に約77時間影響が続いた【第三者】(IsDown)

「容量」「認証構成」という言葉が今回と重なるのは気になるところです。ただし、Microsoftはこれらと今回の障害の関係について何も説明していません。現時点で言えるのは「容量変更と構成の扱いが、繰り返し障害の入口になっている」という傾向までで、同じ原因だと考える根拠はありません。

5. Microsoftの対策を、狙いと限界で整理する

障害対応は、うまくいった手よりも効かなかった手のほうが学びが多いと思っています。Microsoftが打った主な手を、公式発表の内容と、筆者の見立てに分けて並べました。

対応 【公式】実施内容 【推測】狙い 【推測】限界・副作用
変更凍結 すべてのデプロイと構成変更を停止 新しい変数を増やさない、切り分けを容易にする 修正の展開まで止まるため、例外の手順が必要になる
切り離しの停止・代替ヘルスチェック サービスからの除外を止め、別方式の判定へ 除外のループを断ち、残りのサーバーへの集中を止める 本当に壊れたサーバーにも送り続けるので、エラーは増える
再起動・隔離 影響サーバーを隔離して再起動 プロセスの詰まりを解消 根本原因が残っていると、戻した直後に再発する(実際に再発)
トラフィック再配分 世界規模でOutlookの通信を再配分、代替経路へ移動 健全な場所で処理させる 原因が共通なら、移した先も巻き込む
流量制限・遮断 通信種別の制限、プロトコル調整、トラフィック遮断 外から負荷を絞り、メタステーブル状態から抜ける 制限している間は、一部ユーザーが使えない
旧構成での再構築・ネットワーク変更の切り戻し 一部サーバーを以前のソフトウェア構成で再構築、相関するネットワーク変更を戻す きっかけを取り除く 過負荷が自己維持されていると、きっかけを戻すだけでは回復しない
VMスケールアップ・強制同期 容量を足し、構成を同期 足りない容量を補う マシンが不正な状態で止まり、同期できなかった
認証/ルーティング構成のパッチ 上流コンポーネントを修正し、業務時間帯の地域から展開 呼び出し急増の発生源を止める ― (ここから回復が持続し始めた)
段階復帰 ドレイン→再起動→修復→段階的に復帰 再接続の殺到を避けながら容量を戻す 時間がかかる
メールのタイムアウト延長 48時間に延長 配信が遅れたメールを失わない 配信の遅延そのものは解消しない

出典:ENow、365fanatic、DEV(epifive)、Data is CITY

並べてみると、前半の手は「個々のサーバーを直す」もの、後半の手は「システム全体への流入を制御する」ものに寄っていきます。メタステーブル障害の対処として、自然な順序だと思います。

6. SLA補償:どこまで取り戻せるのか

6-1. 2026年11月版SLAのポイント

Microsoft 365のSLAは「Service Level Agreement for Microsoft Online Services」に定められています。第三者の解説によると、現行版は2026年11月1日付です(Office Watch)。筆者の環境からはMicrosoftのSLA文書(SLA for Online Services)を直接開けなかったため、以下は複数の解説サイトで一致している内容です。請求前には原文を確認してください。

サービスクレジットの段階(Exchange Online、Teams、SharePoint Onlineなど多くのサービス)

月間稼働率 クレジット
99.9%未満 25%
99%未満 50%
95%未満 100%

この段階はMicrosoft Learnでも同じ表が示されています(Microsoft Learn)。

稼働率の計算式(user-minutes)

月間稼働率(%) = (ユーザー分 − ダウンタイム) ÷ ユーザー分 × 100

ユーザー分     = (その月の分数 − 予定ダウンタイム) × ユーザー数
ダウンタイム   = 各インシデントの長さ × 影響を受けたユーザー数 の合計

出典:Office Watch、LazyAdmin

「ダウンタイム」の定義がサービスごとに狭い

SLAを読むときに見落としやすいのがこの部分です。【第三者】解説によると、各サービスのダウンタイムは次のように定義されています(Office Watch、Compute Cloud)。

サービス ダウンタイムとみなされる状態
Exchange Online ユーザーがOutlook on the webでメールを送受信できない
Teams チャットやオンライン会議を開始できない
SharePoint Online 権限のあるサイトコレクションを読み書きできない

Exchange Onlineの定義はOutlook on the web基準です。デスクトップのOutlookがつながらなくても、Outlook on the webでメールを送受信できていれば、SLA上はダウンタイムに数えられないことになります。今回はOutlook on the webも影響を受けた接続方式に含まれていたので対象になりうるものの、「自社のユーザーがOutlook on the webでも送受信できなかった時間」を記録しておく必要があります。また、遅い・不安定といった状態はダウンタイムに数えられない、とも解説されています(Office Watch)。

そのほかの条件

  • クレジットは影響を受けたサービス分のみ。スイート製品では、そのサービスに割り当てられた価格分が対象(Office Watch)
  • 自動では適用されず、管理者が請求する必要がある。認められたクレジットは将来の請求に充当される(同上)
  • 請求期限はインシデントが発生した月の翌月末。今回は2026年12月31日(LazyAdmin)
  • 必要な情報:インシデントID(EX1550543、該当すればMO1550821)、自社ユーザーの影響時間、影響ユーザー数と拠点、実施した対処、テナントID、障害中に開いたサポートチケット(同上)
  • CSP経由の契約では、CSPパートナー経由で請求する(LazyAdmin)

6-2. 試算:同じ障害でも結果は会社ごとに違う

11月は30日なので、1ユーザーあたり43,200分です。以下は説明用の仮定です。

ケース ダウン率 稼働率 クレジット
全ユーザーが24時間、Outlook on the webでも送受信できなかった 1,440 ÷ 43,200 ≒ 3.33% 約96.7% 50%
全ユーザーの30%が24時間影響を受けた 3.33% × 0.3 = 1.00% 99.00% 25%(99%未満ではないため)
全ユーザーの10%が24時間影響を受けた 0.33% 約99.67% 25%
全ユーザーが8時間影響を受け、残りはデスクトップのみ不調 480 ÷ 43,200 ≒ 1.11% 約98.9% 50%

境目の近くでは、影響ユーザー数や時間の数え方で段階が変わります。「何人が、何時から何時まで、どの機能を使えなかったか」は、記憶が新しいうちに記録しておくのがよさそうです。

6-3. SLAクレジットと実際の業務損失

SLAクレジットの上限は、影響を受けたサービスの月額料金分です。【第三者】Office Watchによると、Business Standardは1ユーザー月額14ドル(2026年7月以降の年契約の定価)で、Exchange Online分はその一部にすぎません。さらに、SLAクレジットが契約上の唯一の救済手段だとされています(Office Watch)。

【試算】100人の会社で考えてみます。

  • 月額の上限:100人 × 14ドル = 1,400ドル。クレジットはこのうちExchange Online分の25〜50%なので、数百ドル程度にとどまる
  • 業務への影響:仮に1人あたり1時間の人件費を3,000円とし、100人が4時間分の仕事を止められたとすると、120万円

桁が2つほど違います。SLAは「Microsoftがどこまでを約束しているか」を知る材料として読み、業務を止めないための備えは自分たちで用意する必要があります。筆者も、SLAの数字を見て安心していた部分があったので、今回計算してみて考えを改めました。

7. PIRはいつ出るのか

【公式】Microsoftは、緩和が完了したあとに、根本原因と多層防御(defense-in-depth)の修正項目を含むPIRを共有すると表明しています(365fanatic、Cloud Admin Hub)。本記事の執筆時点では、PIRの公開は確認できていません。

公開時期の目安は、Microsoftの文書と過去の通知から読み取れます。

  • サービス説明(Microsoft Learn):多くの組織に広く目立つ影響があったインシデントでは、解決後48時間以内に予備PIRをService healthで提供し、その後5営業日以内に最終PIRを出すとされています。PIRには、ユーザー体験と顧客影響、開始・終了日時、時系列、根本原因分析と改善策が含まれます(Service health and continuity、TechNet)
  • 最近のインシデント通知:2026年1月の障害(MO1221364)などでは「2営業日以内に予備PIR、5営業日以内に最終PIR」と案内されていました(MO1221364の通知)

今回の障害についてMicrosoftは具体的な期限を示していません(Lowyat.NET)。仮に14日(土)にインシデントが閉じたとして、上の目安を当てはめると、予備PIRは来週前半、最終PIRは来週末ごろになります。これは筆者による当てはめで、今回のインシデントについてMicrosoftが示した期限とは別物として読んでください。PIRは管理センターのService healthで提供されるので、テナント管理者の方はそちらを確認するのが確実です。

8. 自分のシステムで確認したいこと

ここからが、この記事でいちばん持ち帰ってほしい部分です。Microsoftほどの規模でなくても、ロードバランサーとヘルスチェックとリトライを使っていれば、同じ形の障害は起こりえます。

8-1. 「全部不健全」になったときの挙動を決めておく

今回Microsoftが障害中に手作業でやったこと(切り離しの停止、判定方式の切り替え)は、あらかじめ設定に入れておけるものがあります。Envoyを例にします。

clusters:
- name: backend
  connect_timeout: 1s
  type: STRICT_DNS
  lb_policy: ROUND_ROBIN
  load_assignment: { ... }   # 省略
  # 能動的ヘルスチェック(今回の「自動ヘルスチェック」に相当)
  health_checks:
  - timeout: 1s
    interval: 5s
    unhealthy_threshold: 3    # 3回連続失敗で不健全
    healthy_threshold: 2      # 2回連続成功で復帰
    http_health_check:
      path: /healthz
  # 健全なホストが一定割合を下回ったら、健全性を無視して全ホストに分散する
  common_lb_config:
    healthy_panic_threshold:
      value: 50.0             # デフォルトも50%。0で無効化
  # 受動的な外れ値検出(実際のリクエストの失敗で除外)
  outlier_detection:
    consecutive_5xx: 5
    interval: 10s
    base_ejection_time: 30s
    max_ejection_percent: 30  # 外れ値検出で除外するのは最大30%まで

この設定で取り違えやすい点が2つあります。

  1. max_ejection_percent は外れ値検出(outlier detection)専用の上限です。 能動的ヘルスチェックで不健全になったホストの数は制限しません。デフォルトは10%で、値にかかわらず最低1台は除外できるとされています(Envoy proto定義)。今回のような「ヘルスチェックの一斉失敗」に効くのは、次のpanic thresholdのほうです。
  2. panic thresholdはデフォルトで50%が有効です。 健全なホストが50%を下回ると、Envoyは健全性を無視して全ホストに振り分けます(Envoy: Panic threshold)。Envoyのドキュメントでは、この仕組みの目的を、負荷が増えるにつれてホストの障害がクラスタ全体に連鎖するのを避けることだと説明しています(Envoy v1.25 docs)。

panic thresholdにはトレードオフがあります。

  • 良い面:ヘルスチェックの誤判定や過敏さで健全なサーバーまで外れたとき、残りへの負荷集中を止められる
  • 悪い面:本当に壊れたサーバーにもリクエストが届くため、エラー率は上がる。パニック時に「全ホストに送る」代わりに「どこにも送らない」モードを選ぶ設定もある(同上)
  • 見落としやすい点:Istioなど、Envoyを内部で使う製品では既定値が異なることがある。たとえばIstioではpanic thresholdが既定で0%(無効)だと解説されている(OneUptime)。自分の環境で実際に生成された設定を確認しておきたいところ

どちらを選ぶのが正しいかは、サービスによって変わります。「全部落ちるより、エラー混じりでも半分動くほうがいい」のか、「壊れたサーバーに送るくらいなら止めたほうがいい」のか。これを障害が起きる前に決めておくこと自体に価値があると思います。

小規模な環境の例【推測を含む一般論】:Kubernetesでは、readinessProbeに失敗したPodはServiceの振り分け先から外れます。readinessProbeの中でDBへの接続まで確認していると、DBが一時的に遅くなっただけで全Podが同時に外れ、Serviceの振り分け先がゼロになります。「ヘルスチェックが依存先の調子まで見ている」構成は、今回の連鎖と同じ形になりえます。

8-2. ヘルスチェックは軽く、依存を持たせすぎない

今回の公式説明では、ヘルスチェックに失敗した理由はサーバー上の接続確立プロセスの過負荷でした。ヘルスチェック自体が重い処理と同じリソースを奪い合っていると、負荷が高いときほどチェックに落ちます。

  • 生存確認(liveness)と受付可否(readiness)を分ける
  • ヘルスチェックの処理は軽くし、外部依存の確認は別の監視に回す
  • ヘルスチェック用の接続やスレッドを、通常のリクエストと分離できないか検討する

8-3. 戻すときは「ゆっくり」戻す

復旧したサーバーがまた落ちたのは、戻す速度が流入の速度に負けたからだと考えられます【推測】。

  • スロースタート:復帰したサーバーへの割り当てを徐々に増やす(多くのLBに機能がある)
  • アドミッション制御:処理しきれない分は早めに断る。接続確立にリソースを使い切る前に、入口で429や503を返す
  • クライアント側のバックオフとジッター:自作のクライアントやバッチ、連携サービスで、再接続のタイミングがそろわないようにする

Pythonで書くと、たとえば次のようになります。

import random
import time


def call_with_retry(
    func,
    *,
    retry_on=(ConnectionError, TimeoutError),
    max_attempts=6,
    base=1.0,
    cap=60.0,
    deadline=120.0,
):
    """フルジッター付き指数バックオフでfuncを呼ぶ。

    - 最後の試行に失敗したら待たずに例外を再送出する
    - 全体の所要時間がdeadline秒を超えそうなら、それ以上待たない
    """
    start = time.monotonic()
    for attempt in range(1, max_attempts + 1):
        try:
            return func()
        except retry_on:
            if attempt == max_attempts:
                raise
            # フルジッター: 0〜min(cap, base * 2^(attempt-1)) の一様乱数
            delay = random.uniform(0, min(cap, base * 2 ** (attempt - 1)))
            if time.monotonic() - start + delay > deadline:
                raise
            time.sleep(delay)

よく見かける実装との違いは次のとおりです。

  • 最終試行の失敗後は sleep せずに例外を再送出する(ループの最後で無条件に待つ実装だと、諦めるまでに無駄な待機が1回入る)
  • リトライ対象の例外を引数で指定できるようにし、認証エラーのような再試行しても直らない例外は対象外にできるようにした
  • 全体の締め切り(deadline)を設け、リトライが長引いてユーザーを待たせ続けないようにした

実運用では、HTTPの Retry-After ヘッダーが返ってきたらそれに従う、システム全体でリトライの割合に上限を設ける(リトライバジェット)、といった工夫も効きます。リトライは1つのクライアントにとっては親切な仕組みですが、全員が同時に使うと今回のような負荷の増幅源になります。

8-4. 変更の追跡を「長い時間軸」で

今回の公式説明で考えさせられたのは、原因が「以前の容量増強」にあった点です。障害が起きるとまず直前の変更を疑いますが、Microsoftも当初は相関する変更を見つけられていません。

  • 変更履歴を数週間〜数か月の幅で検索できるようにしておく
  • 構成のドリフト(あるべき状態と実際の状態のずれ)を定期的に検出する
  • 増設やスケールアウトのような「機能を変えない変更」も、通常の変更と同じように記録・レビューする

3つめは筆者自身も油断しがちなところです。増設は「同じものを増やすだけ」と考えやすいのですが、新しく足したノードだけ設定が少し違う、ということは起こりがちです。今回の公式説明は、容量を増やす作業が時間差で障害につながった例として読めます(容量増強で具体的に何が起きたのかは未公表です)。

8-5. 障害対応中に見るべき指標と判断の目安

今回の経過から、監視しておくと切り分けが速くなりそうな指標を挙げます。

指標 今回の障害で何が分かるか
健全ホストの割合、除外の発生頻度 「サーバーが消えていく」現象を早く捉える
総リクエスト数と、バックエンドへの呼び出し数の比率 総量は平常なのに内部の呼び出しだけ増える、ファンアウトの異常
新規接続数/秒、TLSハンドシェイク数とそのCPU時間 再接続の殺到と、接続確立処理の過負荷
リトライ率 負荷の自己増幅が起きていないか
復帰したノードのトラフィック受け入れ後のエラー率 「戻したらまた落ちる」状態の検出
構成の同期状態、管理操作の成功率 復旧手段そのものが使えるか
キューの滞留量(メールなど) 復旧後に追いつくまでの時間の見積もり

判断の目安としては、次のように整理できます。

  • 健全ホストが急減し、総トラフィックは平常 → アクセス集中を疑うより先に、ヘルスチェック、依存先、内部のルーティングを疑う
  • 戻したノードがトラフィックで即座に落ちる → 戻す速度を下げ、入口で流量を絞る。再起動を繰り返しても状況は変わりにくい
  • きっかけを切り戻しても回復しない → 自己維持のループ(リトライ、再接続、除外)を探し、どれか1つを外から断つ

8-6. Microsoft 365を使う側の備え

  • 連絡手段を二重化する:メールとTeamsが同時に使えなくなる前提で、緊急連絡の経路を決めておく
  • ステータス確認の順番を共有する:管理センターのService health → status.cloud.microsoft → @MSFT365Status(Microsoft Learn)。今回は管理センター自体も影響範囲に入っていた
  • メールを慌てて再送しない:48時間のタイムアウト延長があったため、再送すると重複を生む可能性がある(Data is CITY)
  • 依存関係の一覧を持つ:承認フロー、通知メール、パスワードリセット、外部連携など、Exchangeが止まると止まる業務を把握しておく
  • 障害の記録を残す:SLA請求と社内報告のために、影響ユーザー数、時間、Outlook on the webの可否を記録する

おわりに

今回の障害は、ヘルスチェック、トラフィックの再配分、クライアントの自動再接続といった、普段はシステムを守っている仕組みが、余力のなくなった状態では負荷を広げる側に回りうることをよく示していました。Microsoftの対応を時系列で追うと、個々のサーバーを直す手から、システム全体への流入を制御する手へと軸足が移っていく様子が見えて、障害対応の記録として読みごたえがありました。

一方で、いちばん知りたい「容量増強で何が入り込んだのか」「認証/ルーティングのパッチは何を直したのか」は、まだ公表されていません。4章の連鎖のシナリオも、筆者の推測を含んでいます。

Microsoftの正式なPIRが公開されたら、この記事の仮説を公式の原因分析や再発防止策と照合して、どこが合っていてどこが外れていたかを続編記事にまとめる予定です。続編を読みたい方はフォローしておいてもらえると、公開時に気づいてもらいやすいと思います。8章のチェック項目は、自分の環境を見直すときに使えるようにまとめたので、あとで振り返りたい方はストックしておくと便利です。役に立った、面白かったと思ってもらえたら、LGTMで教えてもらえるとうれしいです。

参考資料

Microsoft公式

Service healthの更新記録(第三者による転載)

解説・報道

技術資料

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?