0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

サーバーを増やしても高可用性にならない理由 ― Microsoft 365障害(EX1550543)から考える冗長化とフェイルプルーフ

0
Posted at

この記事は2026年11月13日(日本時間)時点で確認できた情報をもとに書いています。障害は対応中の情報が更新され続けており、Microsoftの最終的な報告(Post-Incident Report)は私が確認した範囲では公開されていません。公式の報告が出た時点で内容が変わる可能性があります。

はじめに

2026年11月13日の未明(日本時間)、Exchange Onlineを中心にMicrosoft 365で大規模な障害が報告されました。インシデント番号はEX1550543と、複数サービスに関するアドバイザリのMO1550821です。

この障害の公式な説明には、冗長化やフェイルオーバーを考えるうえで示唆に富む内容が含まれています。Microsoftは影響を受けたサーバーが自動ヘルスチェックに失敗して利用不能になったと説明しており、障害を防ぐための仕組みが障害の拡大に関わりうることを考えるよい材料です。

ただし、根本原因は現時点で公表されていません。そこで本記事では、次のラベルで情報の種類を分けて書き進めます。

ラベル 意味
【公式】 Microsoftが公式に発表した内容
【報道】 報道機関や集約サイトによる報告
【推測】 筆者の推測。確認はできていません
【一般論】 分散システム設計の一般的なリスク。今回の障害で実証されたものではありません
【私の経験】 個人で運用しているDiscord Botでの経験

Microsoftの障害対応を批判する意図はありません。更新のたびに診断を公開で修正していく姿勢は、むしろ参考になる点が多いと感じています。

1. Microsoft 365が大規模障害を起こした

何が起きたか

【公式】Microsoft 365 StatusのXアカウントは、Exchange Onlineのメールボックスに複数の接続方式でアクセスできない報告を調査していると発表しました。【報道】影響を受けた接続方式にはOutlook on the web、MAPI、Exchange ActiveSync、REST APIが含まれると報じられています。

【報道】MO1550821では、Exchange Onlineに加えてTeams、SharePoint Online、Microsoft 365 Copilot、Microsoft Defender XDRも影響を受けうるサービスとして挙げられていました。また、管理センターにアクセスしづらいという報告もありました。

【報道】Downdetectorへの報告数は、時間帯や報道によって異なりますが、10万件を超えたとされています。これは利用者からの報告件数であり、影響を受けた顧客数を示す数字ではありません。

時系列(日本時間)

時刻は報道・集約サイトの記載(米国東部時間やUTC)を日本時間に直した概算です。管理センターの履歴とは数分から数十分ずれる可能性があります。

日本時間(11/13) 内容
02:54ごろ 【公式】米州でExchange Onlineのメールボックスにアクセスできない報告を調査中と投稿
03:35ごろ 【公式】複数リージョンでインフラの一部が高負荷になっており、接続エラーの一因と見られると説明。影響は米州に限られず、どのリージョンの利用者にも及びうると案内
04:12ごろ 【公式】トラフィックの再分散、全デプロイの停止、影響を受けたサーバーの再起動に着手
04:12〜04:43ごろ 【公式】高負荷の要因について、トラフィックの増加ではなく、一部のサーバーが予期せず利用不能になり、残りのインフラに負荷がかかっているものと説明を更新
04:43ごろ 【公式】影響を受けたサーバーが自動ヘルスチェックに失敗して利用不能になっていると説明。ヘルスチェックの処理に関わるコンポーネントへの最近の変更が関係する可能性に言及。設定変更のテストと、影響サーバーの再起動を並行して実施
05:19ごろ 【公式】障害開始と相関する最近の変更は特定できていないと更新。失敗しているヘルスチェックは、サーバーのヘルス処理を担う特定のコンポーネントに由来する可能性があると説明。【報道】影響サーバーでCPU使用率が高い状態についても調査中と報じられた
06:00ごろ 【公式】代替のヘルスチェック方式を検証し、一部のサーバーがサービスに復帰。適用範囲を広げつつ、応答しないサーバーを継続的に検出して再起動する自動復旧の準備を進めていると説明

私が確認できた範囲では、この時点でインシデントの解決宣言と根本原因の公表は見当たりませんでした。

確認できていること、できていないこと

区分 内容
確認できている 多数のサーバーが自動ヘルスチェックに失敗して利用不能になった。高負荷はトラフィック増加ではなく、利用不能サーバーの増加による残存サーバーへの集中という説明になった。代替ヘルスチェック方式で一部が復旧した
確認できていない ヘルスチェックが失敗した理由。ヘルスチェックの判定は正しかったのか(サーバーが実際に不調だった)、判定側に問題があったのか。変更との因果関係。完全復旧の時刻

根本原因がヘルスチェックだったとは断定できません。ヘルスチェックの失敗は「サーバーが利用不能になった経路」として公式に説明されていますが、その失敗を引き起こした原因は別に存在する可能性があります。

2. なぜ大手でも防げなかったのか

正直なところ、この問いには現時点で答えが出せません。根本原因が公開されていないためです。そこで、公式発表から読み取れる範囲と、一般的にありうる可能性を分けて整理します。

公式発表から読み取れること

  • 【公式】最初に疑われた「トラフィック急増」は、後に主因ではないと説明された
  • 【公式】サーバーが自動ヘルスチェックに失敗して利用不能になり、残りのサーバーに負荷が集中した
  • 【公式】障害開始と相関する最近の変更は特定できていない
  • 【公式】復旧策として、ヘルスチェック方式の変更、トラフィックの迂回、再起動、デプロイの停止が使われた

【推測】ヘルスチェックの失敗には複数の読み方がある

公表されている情報だけでは、次の3つの読み方のどれが近いのかを判断できません。

仮説 内容 判断材料
A サーバーが実際に不調(CPU高騰など)で、ヘルスチェックは正しく失敗を検出した CPU使用率の調査が言及されている
B ヘルスチェックを処理するコンポーネントに問題があり、健全なサーバーまで不健全と判定された 別方式のヘルスチェックで一部が復帰した
C 一部の不調で負荷が上がり、その負荷でヘルスチェック自体が失敗しやすくなって、判定された数が雪だるま式に増えた 負荷集中が起きたという説明

どれも公式には確認されていません。複数が重なっている可能性もあります。最終報告を待ちたいところです。

【一般論】大量にあっても残る共通障害点

サーバーが何千台あっても、それらが共通して依存しているものは単一障害点になりえます。ヘルスチェックの判定ロジック、設定の配信経路、認証基盤、ネットワーク、デプロイの仕組みなどです。台数による冗長化は「個々のサーバーが独立に壊れる」ことを前提にしているため、共通の原因で同時に壊れる場合には効果が薄れます。

3. フェイルオーバーがあっても連鎖障害は発生する

【一般論】ここからは、今回のMicrosoftの事例の再現ではなく、一般的に知られている連鎖障害のパターンです。

残存サーバーの負荷は急速に増える

10台のサーバーが平均60%の使用率で動いているとします。合計の負荷は10 × 0.6 = 6台分です。

利用不能になった台数 残り 残存サーバーの使用率
0台 10台 60%
3台 7台 約86%
5台 5台 120%(処理しきれない)

N+1の冗長化は1台の故障には耐えますが、複数台が同時に落ちた場合の余裕は別に設計する必要があります。

ヘルスチェックが連鎖を加速する

負荷が上がるとレスポンスが遅くなり、ヘルスチェックがタイムアウトしやすくなります。するとさらにサーバーが切り離され、残りの負荷が増えます。この正のフィードバックが一度回り始めると、クライアントの再試行による流入増も加わって、自力では止まりにくくなります。

※一般的な連鎖パターンの図です。今回のMicrosoftの障害の実際の経路を示したものではありません。

フェイルオーバー先の容量も同じ構造を持つ

待機系や別リージョンへ切り替えた先が、切り替えられた全トラフィックを受けられる容量を持っているかどうかも問題になります。待機系が普段のトラフィックを前提にした容量しかなければ、切り替えた瞬間に今度は待機系が過負荷になります。復旧時にも、再起動直後のキャッシュが冷えた状態へ一斉にアクセスが集まる問題があります。

4. フェイルプルーフ・フェイルセーフ・フォールトトレランスの違い

似た用語が多いので、具体例とあわせて整理します。

用語 考え方 具体例
フェイルプルーフ 誤操作や誤判断を起こしにくくし、問題を未然に防ぐ 設定値の範囲チェック。破壊的な操作の二重確認。「一度に切り離せるサーバーは全体の○%まで」という上限
フェイルセーフ 異常が起きたときに安全側へ移行する 判定不能のときに全サーバーを生かす(fail open)か、全て止める(fail closed)か、どちらを安全側とするかをあらかじめ決めておく
フォールトトレランス 一部が故障しても機能を継続する RF=3のレプリケーション。RAID。複数のアベイラビリティゾーンへの分散
フェイルオーバー 障害時に待機系や別の処理系へ切り替える PostgreSQLのスタンバイ昇格。DNSの切り替え。アプリケーション側のフォールバック

フォールトトレランスは「一部が壊れても動き続ける」という性質であり、フェイルオーバーはその性質を実現する手段のひとつです。フェイルセーフは壊れたときにどちらへ倒れるかの設計で、フェイルプルーフは壊れる前、あるいは誤判断が起きる前の段階を扱います。

「安全側」はシステムによって違う

フェイルセーフでいう安全側は、システムの性質によって変わります。決済や認証のように誤って通すと被害が出る領域では、疑わしければ止める(fail closed)ほうが安全側です。一方で、ロードバランサがヘルスチェック結果を信用できないほど多くのサーバーを不健全と判定した場合は、全サーバーを対象に振り分けたほうが全断よりましということがあります。Envoyの「panic threshold」はこの考え方の実装例で、健全なホストの割合が一定以下になると、ヘルス情報を無視して全ホストに振り分けます。

監視系の冗長化・独立性とフェイルプルーフは別の概念

用語を正確に扱うために、ここは強調しておきます。

  • 監視系を二重化して、別実装・別ネットワークに置くこと → フォールトトレランスと、共通原因故障を避ける独立性の話
  • 監視や自動化の誤判断が全体に波及しないようにガードを置くこと → フェイルプルーフ的な設計

両者は補い合う関係にありますが、同義ではありません。監視系を独立させても、その監視系が誤判断を起こしたときの被害を抑える仕組みがなければ、フェイルプルーフとしては不十分です。分類には幅があるので、あくまで考え方の整理として読んでください。

5. 私のScyllaDBとPostgreSQLの運用経験

【私の経験】私は個人でDiscord Botを運用しています。データベースにはScyllaDBとPostgreSQLを使っています。

  • ScyllaDB: 3ノード、RF=3
  • PostgreSQL: アプリケーション側のフォールバック先
  • 監視: New Relicで、ScyllaDBのレイテンシ、CPU、リアクターの状態などを見ている

管理している範囲

最初に範囲をはっきりさせておきます。自分で実装して管理しているのは、主にアプリケーション側のフォールバック処理です。ScyllaDB内部のノード障害判定、レプリカ選択、内部的なフェイルオーバーは自作しておらず、管理もしていません。それらはScyllaDBの実装に委ねています。

経験したこと

  • ScyllaDBで読み取りタイムアウトが発生した
  • ScyllaDBの読み取りに失敗した場面で、アプリケーション側のPostgreSQLへの切り替えが実際に成功した
  • Botのイベントループが約3.5秒停止した

フォールバックが実際の障害時に動いたことは心強い経験でした。ただ、一度成功した事実は、その時の条件で動いたことを示しています。条件が変わっても動くかどうかは、別に確かめる必要があります。

今回の障害との関係

Microsoftの構成と私の構成は、規模も構造も大きく異なります。同じ問題を抱えているとは考えていません。共通する教訓として受け取っているのは、障害の判定や切り替えの処理もソフトウェアであり、それ自体が故障しうるという一点です。

この観点で自分の構成を眺めると、確認しておきたい点がいくつか見えてきます。

  • 切り替えの判定条件(タイムアウトの値など)は、負荷が高いときにも妥当か
  • 切り替え先のPostgreSQLは、どの程度の読み取りを引き受けられるか
  • フォールバック処理がBot本体と同じイベントループ上で動く場合、ループが止まっている間はフォールバックも動けない
  • New Relicによる監視は、監視対象と同じ経路で通知が届くか

6. 障害対策の仕組み自体が壊れるケースを考える

【一般論】障害に耐える仕組みを、障害を処理する仕組みと呼び分けると整理しやすくなります。前者は冗長化されたデータ系(サーバー群)で、後者はヘルスチェック、ロードバランサ、自動復旧、設定配信といった制御系です。

データ系のサーバーは3台に冗長化されていても、制御系が1つであれば、その制御系の誤動作は3台すべてに同時に影響します。

制御系が壊れる典型的なパターン

パターン 例
ヘルスチェックの大量誤判定 判定ロジックの不具合や設定ミスで、健全なサーバーが一斉に不健全と判定される
ヘルスチェックが依存先を巻き込む チェックが外部DBや認証を呼んでいると、その依存先が落ちたときに全サーバーが不健全になる
負荷によるチェック失敗 高負荷でタイムアウトし、判定が悪化して切り離しが増える
自動復旧の暴走 再起動が連続・同時に走り、復旧中のサーバーをさらに落とす
管理系が本番と同じ基盤 障害時に管理画面やステータスページへ入れず、状況把握や手動操作が遅れる
切り替え先の容量・データ鮮度 待機系が全トラフィックを受けられない。データが古い

設計上の対策

  • 切り離しに上限を設ける: 一度に外せるサーバーの割合を制限する。Kubernetesのmaxunavailableや、PodDisruptionBudgetの考え方です。
  • fail openを検討する: 健全と判定されるサーバーが極端に少なくなったら、判定を無視して全台に振り分けるかを決めておく。Envoyのpanic thresholdが一例です。
  • ヘルスチェックの種類を分ける: プロセスが生きているか(liveness)、受付可能か(readiness)、依存先が使えるか、を混ぜない。依存先まで含めた深いチェックは、依存先の障害で全台を落とす恐れがあります。
  • 自動化にブレーカーを付ける: 自動の切り離しや再起動が異常な頻度で発動したら、自動化を止めて人に判断を委ねる。
  • 管理系を本番基盤から独立させる: 障害時にも使える手動の逃げ道を持つ。
  • デプロイを止めるスイッチを用意する: 今回Microsoftも全デプロイを停止しています。
  • リトライは指数バックオフとジッターで: 再試行の嵐を避ける。
  • 切り替えを定期的に試す: 待機系の容量と手順が実際に動くことを、障害が起きる前に確認する。

7. 個人開発でも実践できる設計と検証

大規模な基盤がなくても、次のような点は個人開発でも確認できます。

フォールバックに上限とメトリクスを付ける

フォールバック先へ流れる量に上限を設け、発動回数を記録する例です。関数名や数値は説明用の仮のものです。

import asyncio

FALLBACK_LIMIT = asyncio.Semaphore(20)  # フォールバック先への同時実行数の上限

async def read_user(user_id: int):
    try:
        return await asyncio.wait_for(scylla_get_user(user_id), timeout=0.5)
    except (asyncio.TimeoutError, ScyllaReadError):
        metrics.incr("fallback.scylla_to_pg")      # 発動回数は必ず記録する
        if FALLBACK_LIMIT.locked():
            metrics.incr("fallback.rejected")
            raise FallbackOverloaded()              # 待たせ続けずに早く失敗させる
        async with FALLBACK_LIMIT:
            return await asyncio.wait_for(pg_get_user(user_id), timeout=1.0)

フォールバックの発動率をNew Relicなどで可視化しておくと、切り替えが頻発し始めたときに早く気づけます。

検証のチェックリスト

  • フォールバック先は、切り替えられた全トラフィックを受けられるか(負荷をかけて測る)
  • 切り替えの判定値は、高負荷時にも誤判定しにくいか
  • 切り替え処理は、障害が起きているのと同じプロセスやイベントループの上で動いていないか
  • 監視の通知は、アプリケーションとは別の経路で届くか(外形監視など)
  • 自動処理が連続して発動したときに止まる仕組みがあるか
  • 自動化を手動で止める手段があるか
  • 切り替えを定期的に試しているか(テスト環境で意図的に読み取りを失敗させる、など)

8. まとめ

  • Microsoft 365の障害(EX1550543 / MO1550821)では、多数のサーバーが自動ヘルスチェックに失敗して利用不能になり、残りのインフラに負荷がかかったと説明されています。根本原因は現時点で公表されていません
  • 根本原因をヘルスチェックと断定することはできません。ヘルスチェックの失敗が原因なのか、別の原因が現れた経路なのかは、最終報告を待つ必要があります
  • サーバーを増やすだけでは高可用性は実現できません。ヘルスチェック、設定配信、ネットワークなどの共通部分が故障すると、台数による冗長化の効果は薄れます
  • 障害に耐える仕組みに加えて、障害を処理する仕組み(判定・切り替え・自動復旧)が壊れた場合も設計に含めると、見える課題が変わります
  • フェイルプルーフ、フェイルセーフ、フォールトトレランス、フェイルオーバーは別の概念です。監視系の冗長化・独立性はフォールトトレランス側の話で、誤判断の影響を封じるガードがフェイルプルーフ側の話です

私自身、ScyllaDBとPostgreSQLの構成を見直す際に、判定条件、切り替え先の容量、監視経路を確認しておきたいと考えています。Microsoftの最終報告が公開されたら、内容を踏まえてこの記事を更新するつもりです。

参考リンク

一次情報(Microsoft)

報道

設計の一般論

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?