1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【要約】Using a "chaos loop" to harden the Claude Docs launch ― Claude に2週間ステージングを壊させ続けて、20億リクエストでサーバーエラー60件に抑えた話 🌪️

1
Posted at

はじめに 📝

2026年11月17日に claude.dev ブログで公開された記事 「Using a "chaos loop" to harden the Claude Docs launch: 60 server errors across billions of requests」(著者: Vivek Nair、カテゴリ: Engineering)の内容を、日本語で要約して紹介します。

Claude Docs は、あなた・チームメイト・Claude が一緒に作業するドキュメントエディタです。チャットから Claude Code まで、どこで動いている Claude セッションでも同じドキュメントを開き、人のすぐ隣でライブに読み・書き・コメントできるのが特徴です。2026年9月16日にリリースされました。元記事は、その 裏側で動くサービス をローンチ規模に耐えられるようにした方法を紹介しています。

元記事にはコード例がないため、イメージを掴むために記事中で説明されている 「カオスループ」1回分の流れ を図にしておきます 👇(記事の説明をもとにした構成イメージです)

[コーディネーター: Claude Code セッション(サブエージェントに作業を分配)]
  │
  ├─ 1. シナリオを選ぶ(例: 2万2千接続の同時再接続)
  ├─ 2. テストハーネスを実行し、機能を飽和するまで負荷をかける
  ├─ 3. Datadog MCP でテレメトリを読む
  ├─ 4. 選択肢と推奨案を提示
  │     ├─ 元に戻しやすい変更 → Claude が実装してステージングにデプロイ
  │     └─ 元に戻しにくい変更(スキーマ等)→ 人間の承認を待つ
  └─ 5. テストを再実行 → 1 に戻る

3行まとめ ✨

  • 🌪️ ローンチ2週間前から、本番相当のステージングで Claude が常時サービスを壊しては直す「カオスループ」 を回し続けた
  • 🔍 Claude が原因を追えるよう、テレメトリを充実させ、GC のない Rust と最小限の依存関係 でサービスを「読みやすく」した
  • 📈 結果、ローンチ後 20億リクエストでサーバーエラーは60件、ロールバックはゼロ。推論コストは約12万5千ドル

🚀 背景と結果

  • 一般公開の3週間前、Claude Docs は 単一ノード上の PoC で、Anthropic 社内の数千人が使っている状態だった
  • 見積もりでは、ローンチ後数日で数百万ドキュメントが作られる見込みだった
  • 結果は次のとおり
指標 数値
📅 リリース日 2026年9月16日
📄 9月22日までの作成ドキュメント数 460万以上
🌐 リクエスト数 20億
❌ サーバーエラー 60件
↩️ ロールバック 0回
🖥️ サービス全体の規模 メモリ最適化 Pod 約50台

これを可能にした判断は2つです。

  1. ローンチ規模のカオスループ:ステージング環境にテストハーネスを用意し、Claude が2週間ずっとサービスを壊そうとし続けた。インフラのあらゆる部分を負荷テストし、倒れたものを修正した
  2. Claude にとっての「読みやすさ(legibility)」の向上:毎回のイテレーションで正確なテレメトリが出なければ、Claude は修正のループを閉じられない。そのため、コードで制御しにくい形でメモリや CPU を使うランタイム(GC のあるランタイムなど)を早い段階で避けた

そして正直なところ、これがうまくいったのは 最近のフロンティアモデルが大きく進化したから だと著者は述べています(Claude Fable 5.2 とおおむね同等の社内研究モデルを使用)。今のモデルは、このような実行で 1つの目標を数週間維持できる ようになっています。

🌪️ カオスループ

  • 1台のマシンで数千人の社内ユーザーが使っていても、ローンチに耐えられるかは何もわからない。かといってローンチ時のトラフィックは手元にない
  • そこで 9月4日(ローンチの約2週間前)、本番を模したステージングクラスタで 1日100万件超の合成ドキュメント を生成させ、主要コンポーネントを意図的に壊させ、そのまま走らせ続けた

🛠️ セットアップ

  • ループは、走らせっぱなしにした Claude Code のセッション1つ
    • シナリオを選ぶ → ハーネスを実行 → テレメトリを読む → 修正を提案 → ステージングに出す → 繰り返し
  • このセッションは コーディネーター として、作業の大半を サブエージェント に渡した
    • 最も忙しい週は通常 約11個、ピーク時は 30個 のサブエージェントが同時稼働
  • コーディネーターは Slack MCP 経由で社内版の Claude Tag(ベータ)とやり取りし、似たサービスをスケールさせた経験を持つ 社内の他のインフラチーム から学んだ。相手のエージェントが、自分たちが過去にはまった落とし穴がないかをチェックしてくれた

😱 「心配しすぎ」なシナリオ

  • 1日に 1,000万件 の新規ドキュメント作成
  • 2万2千 のライブ接続が一斉に再接続
  • 数百人が閲覧する1つの人気ドキュメント、ドキュメント読み込み中にサーバーが kill される、データベースが停止する

🔁 1回のイテレーション

  • テストハーネスが「ドキュメント作成」などの機能を選び、飽和するまで負荷をかける
  • Claude が Datadog MCP でテレメトリを読み、短い選択肢のメニューと推奨案 を返す
  • 推奨案が 元に戻しやすい ものなら、Claude が変更を書いてステージングにデプロイし、テストを再実行
  • サービスが実行するすべての操作にテレメトリがあった
    • 例:すべての DB クエリが、自分の名前と「スキャンした行数 vs 返した行数」を報告 → Claude が悪いクエリを見つけて書き直せる

🙋 人間が判断するもの

  • ループ開始前に、どの判断に承認が必要か を Claude に伝えておいた
    • 基本的には 元に戻しにくいもの:DB スキーマやキーレイアウトの変更、ドキュメントの保存・マテリアライズ方法の変更など
  • そうした判断に当たると、Claude は止まって推奨案つきで質問してきた(著者は結局その推奨を承認することが多かった)
  • スキーマ変更は典型例。妥当な答えが複数あり、後から方向転換するのは大抵つらい

📏 2つの不変条件

テスト期間中、Claude は次の2つを守ることが求められました。

  • ドキュメントは ほぼ即座に開ける こと(長い履歴を持つものでも)
  • サーバーが編集を確認応答したら、その編集が残っていることをテストで示せる こと

🔍 サービスを Claude にとって「読みやすく」する

  • 同僚の Felix Rieseberg は モデルと一緒にもっと野心的になるためのチュートリアル で、Claude へのプロンプトの 「高度(altitude)」を上げる ことを勧めている。個々のタスクではなく、欲しい成果 を頼む
    • 例:個々のクラッシュを直させるのではなく「アプリをクラッシュフリーにして」と頼む
    • ただしその高度で動いてもらうには、Claude が自分でクラッシュレポートを取得し、各クラッシュを再現して修正を確認するハーネスを回せるようにしておく必要がある
  • 今回の成果は「ローンチに耐えられるサービス」。そのためにやったことは2つ
    • 診断ループ:毎回テレメトリを読み、足りないと思うものを Claude が追加する
    • 読みやすい技術選定:Claude が測ったどの数値も、自分たちが書いたコードまで辿れるようなランタイムと依存関係を選ぶ

🩺 診断ループ

  • テレメトリを手で書くのは面倒なので、実際には何かが壊れてから入れることが多かった。今は Claude が作業しながら書く
  • 最も良い例が メモリ
ステップ 内容
1️⃣ ハーネス実行の初期、ある大きなドキュメントが Pod 上で 約3GB を使っていた
2️⃣ Claude の最初の対策はキャッシュを小さくしてドキュメントを早く追い出すこと。しかし次の実行で、メモリは 依存ライブラリ内の別キャッシュ にあるとわかり、その変更は取り下げた
3️⃣ より細かいメモリプロファイリングで絞り込み、キー入力のたびにドキュメントが複数のデータ構造にコピーされ、毎回数MBずつ増えていた ことを発見
4️⃣ それらの構造を copy-on-write に変更し、各自がコピーを持つのではなく1つの参照を共有するようにした
5️⃣ 約3日間の反復で、そのドキュメントは 約180MB に収まり、ローンチに必要な Pod の見積もりは 500台超 → 約50台 に減った

🦀 読みやすい技術選定

  • サービスのランタイムと依存関係にはこだわった。Claude が測ったどの数値も、自分たちが書いたコードまで辿れるようにしたかった
  • モデルは クリーンなシグナル があるときに最もよく山登り(hill climb)できる。GC はコレクタのスケジュールでメモリやレイテンシが変動するため、ノイズになると予想した
  • 特に効いた選択は2つ
    • Rust で書いた:GC がないので、ドキュメントのメモリはすべて自分たちが定義した構造に収まる。メモリが増えたら Claude が原因の構造を特定・変更し、次のイテレーションで下がったかを確認できる
      • Anthropic には優れた Go のツール群もあり、2言語を比較検証したわけではない。あくまで Rust での経験談
      • Go 経験のある著者は、コードが使い終わったメモリが残り続けることをほとんど気にしなくて済んだ点を評価している
    • 依存関係を最小限にした:ライブラリは自分たちが書いておらず把握しにくいデータ構造を持ち込む。本当に必要な少数のライブラリは vendoring して、自分たちで読んで測れるようにした
  • Rust は人が書くには難しく、数年前なら選定に大きく響いたはず。Claude は Rust も他のほとんどの言語も問題なく書けるので、今はそれほど重要ではない

🎉 ローンチ週

  • サービスはローンチ規模に耐えた
    • 最初の 100万ドキュメントは約30時間 で到達、9月22日には 460万 を突破
    • 9月中に本番へ 629回 ロールアウトし、一度もロールバックしなかった
  • ローンチ週は「妙に見覚えがある」感覚だった
    • Claude はサービスの壊れ方を想像するのが得意で、その多くにローンチ前から備えていた
    • ステージングでリハーサルした 10シナリオのうち7つが実際に本番で発生
    • その時点でハーネスはステージングで大半を経験済みで、Claude は修正を ランタイムフラグの裏 に出していた → インフラの一部に負荷がかかっても、たいていは フラグを切り替えるだけ で済んだ

🧠 なぜ今これができるのか

  • 数か月前ならおそらくうまくいかなかった
    • 古いモデルも MCP サーバー経由でテレメトリを読むことはできたが、長いループの10〜20イテレーション目あたりで 何を最適化しているのかを忘れ始め、目標を言い直す羽目になった
    • Anthropic の他の社員はこれを goal drift と呼んでいる
  • 新しいフロンティアモデルは長時間の作業向けに作られており、何度コンパクションを挟んでもすべての不変条件を保持 し、言い直す必要は一度もなかった
  • こうした取り組みは Anthropic だけではない。Vercel も今回と似た 監督つきエージェントループ で Turborepo を最大96%高速化 している

💰 かかったコスト

  • Claude Fable 5.2 の API 定価(2026年11月時点)換算で、8月末からローンチ日までに 約12万5千ドル の推論を使用
  • 数年前なら、この規模の作業はエンジニアのチームで 約6か月 かかっただろう、と著者は推測
  • 大半は、テレメトリの読み取り・提案の作成・修正の生成・コードレビューに使われた
  • コストについての補足
    • 今回のローンチは特に大規模で、その規模でしか意味のないインフラにかなりの額が使われた。サービスが増えるほど、それらの組み合わせや壊れ方について Claude が深く考える必要があった
    • プロセスを模索するためにも多くのトークンを使った。セットアップを試行錯誤している間もループは止まらず回っていた。今の知識があれば 約半分 で済んだはず

🧪 試してみるには

小さなサービスでも同じことができ、コストはずっと少なくて済むはずです。

  • 概算のため、典型的な小規模チームの構成(それなりのサイズの Kubernetes ノード数台 + Postgres インスタンス1つ)を想定し、今回の変更から次の作業を除外した
    • 社内の他サービスとの統合
    • スケール作業と混在していたクライアント・プロダクトの作業
    • 多数の Pod での運用
    • 細粒度のレート制限
  • 残った変更は 約3分の1
  • その3分の1に支出を縮小し、セットアップ模索中のミスを除くと、同様の2週間の取り組みは同じ定価で 3,000〜10,000ドル 程度と見積もられる(実際に試したわけではない、あくまで大まかな感覚)

以下は、エンジニア1人 + Claude Code + ステージング環境 + オブザーバビリティプロバイダー を前提とした手順です。コーディネーターとサブエージェントは高速化に役立ったものの、1時間あたりのトークン消費が多すぎるなら 単一エージェントに戻してもかなりうまくいく とのことです。

  1. 📡 Claude にテレメトリへのアクセスを与える。多くのオブザーバビリティプロバイダーには Claude が使える MCP サーバーがある
  2. 💥 Claude に負荷スクリプトを書かせる。実トラフィックの 10倍 をステージングのサービスに投げ、意図的に壊す。インスタンスの kill、DB の停止、スパイク中のデプロイから始めるとよい。あとは倒れたものを Claude に直し続けさせる
  3. 🦀 技術スタックは Claude が最も測りやすいものに寄せる。今回は Rust と最小限の依存関係だった
  4. 📏 始める前に、最も重要な技術的不変条件を書き出して Claude に渡す
  5. 🙋 元に戻しにくいものは、Claude に止まってもらい、明確な推奨つきの選択肢を出させる

まとめ 🎯

元記事のポイントは、「欲しい成果(ローンチに耐えるサービス)」を Claude に任せ、それを測れる環境と守るべき不変条件、人が判断する境界を用意すれば、長時間のループで本番品質まで持っていける ということです。

  • 🌪️ ステージングで Claude に壊させ、直させる ループを回す
  • 🔍 テレメトリを充実させ、測った数値がコードまで辿れる 構成にする
  • 📏 不変条件 と 人間の承認が必要な判断 を最初に決めておく
  • 🚩 修正は ランタイムフラグの裏 に出しておくと、本番で同じ事態が起きてもすぐ対応できる

まずは手元のサービスで、オブザーバビリティの MCP サーバーを Claude Code につなぎ、ステージングに10倍の負荷をかけるスクリプトを書かせるところから始めてみてはいかがでしょうか 🚀

参考リンク 🔗

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?