0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Cloudflare大規模障害(2025)から学ぶ教訓 - 慢心はいかんってこと

Posted at

Cloudflare大規模障害(2025)から学ぶ、現場で活きる具体的教訓

今回の障害は「たった1行の記述ミス」が、世界最強クラスのサーバー群をドミノ倒しにした事例です。ここから得られる教訓は、明日の自分のシステムを守るヒントになります。

1. 実装の落とし穴/「まあ大丈夫だろう」が命取り

▼ 「絶対」を前提にしたコードを書かない

  • 何が起きたか
    プログラム(Rust言語)の中で、「ここは絶対にデータが取れるはず」と決めつけた処理(unwrap)が行われていました。しかし、設定ミスで想定を超えるデータが流れてきた際、この処理がパニックを起こし、プログラムごと強制終了してしまいました。
  • 教訓
    「理論上ありえない」ケースでも、プロセスごと死なない書き方を徹底しましょう。エラーが起きても、そのリクエストだけを失敗させ、システム全体は動き続ける「防御的プログラミング」が必要です。

▼ 身内のデータも疑ってかかる

  • 何が起きたか
    外部からの攻撃データではなく、「自社システムが生成した設定ファイル」を読み込んだことで障害が発生しました。「身内のデータだから安全なはず」とノーチェックで読み込みましたが、実際はバグでファイルサイズが肥大化していました。
  • 教訓
    信頼境界(どこまで信用するか)を見直しましょう。内部システム間のやり取りであっても、「サイズは適切か」「形式は正しいか」という検問(バリデーション)を必ず通過させるべきです。

2. 設計の落とし穴/復旧を邪魔する構造

▼ 「家の鍵」を「家の中」に置かない

  • 何が起きたか
    障害対応をするための「管理画面」へのログイン機能が、今回ダウンした「本番環境のシステム(Turnstileなど)」を利用していました。その結果、エンジニアが管理画面にログインできず、締め出されてしまいました。
  • 教訓
    管理機能(コントロールプレーン)は、サービス本体(データプレーン)が全滅しても使えるように、認証基盤やネットワークを完全に切り離しておきましょう。非常口の鍵は、別の場所に保管する必要があります。

▼ 監視システムにトドメを刺させない

  • 何が起きたか
    エラーが多発した際、「何が起きているか記録しなきゃ!」と張り切ったデバッグ・監視システムが、CPUを限界まで使い果たしてしまいました。結果、監視のせいでサーバーの息の根が止まりました。
  • 教訓
    異常時にログ出力が爆増してシステムを殺すのはよくある事故です。「ログ出力は1秒に何回まで」といった制限(レートリミット)を設け、記録係のせいで本業が止まる本末転倒を防ぎましょう。

3. 運用の落とし穴/一撃全滅のリスク

▼ 世界一斉配信というロシアンルーレット

  • 何が起きたか
    バグを含んだ設定ファイルを、世界中の全サーバーへ「一瞬」で配信してしまいました。これにより、地球規模で同時にシステムダウンが発生しました。
  • 教訓
    設定変更やアップデートは、必ず「一部のサーバー」や「一部の地域」から始める(カナリアリリース)べきです。様子を見て問題なければ広げる手順を自動化し、全台一斉死のリスクを回避しましょう。

▼ 復旧直後の「おかわり」攻撃に備える

  • 何が起きたか
    システムを復旧させた瞬間、今まで待たされていた世界中のアクセスと、自動再試行(リトライ)の嵐が一気に押し寄せ、再びシステムがダウンしかけました。
  • 教訓
    復旧時は蛇口を少しずつ開けるようにトラフィックを制限したり、アプリ側で「再接続のタイミングをランダムにずらす(Jitter)」工夫を入れないと、復旧した瞬間にまた潰されてしまいます。

4. 心理的な落とし穴/敵は内部にあり

▼ 「派手な攻撃」より「地味な変更」を疑う

  • 何が起きたか
    システムが不安定になったり治ったりを繰り返したため、エンジニアたちは当初「高度なサイバー攻撃を受けている」と勘違いしました。これが原因特定の遅れに繋がりました。
  • 教訓
    システム障害の犯人は、ハッカーよりも「自分たちが直近で行った変更(リリースや設定変更)」である確率のほうが圧倒的に高いです。まずは変更履歴を確認する基本姿勢を崩さないようにしましょう。

まとめ
どんなに便利な自動化や共通基盤も、設計を間違えれば「自爆装置」になります。「システムはいつか必ず壊れる」という前提に立ち、壊れた時に被害を広げないための「安全弁」をコードや設計の中に地道に埋め込んでおくことが、エンジニアの最も重要な仕事です。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?