はじめに
障害の原因を生成 AI に聞くと、それっぽい答えが返ってきます。でも、その答えが合っているかどうかは、聞いた側のわたしたちが判断しないといけません。
そこで、答えが分かっている障害で試すことにしました。
- 壊し屋AI:Amazon Bedrock AgentCore + Strands Agents で作った、障害を仕込むエージェント
- 調査AI:AWS DevOps Agent
壊し屋AI が障害を1つ仕込み、DevOps Agent が原因を調べ、人間が答え合わせをします。検証専用の AWS アカウントに最小構成の環境を作って試し、終わったあとはすべて削除しました。
結論
- AWS DevOps Agent は 3問中3問正解
- 依頼文にわざと間違ったヒントを入れても引っかからなかった
- ログが1行も出ない障害でも、壊し屋AI の行動ログから犯人と時刻を特定した
- 調査1回あたり 約370円(料金から逆算すると約5分)
ただし、どれも「設定を1つ変えるだけ」の単純な障害で、3問だけの結果です。複雑な障害でも同じように当てられるかは、まだ試していません。
この記事では、壊し屋AI の実装(ツール定義・プロンプト・安全策・IAM)を中心に、コード付きで紹介します。
対象読者
- Strands Agents / Amazon Bedrock AgentCore で、AWS を操作するエージェントを作りたい人
- AWS DevOps Agent が障害調査にどこまで使えるか知りたい人
- AI に権限を渡すときの安全策を考えている人
構成
| 役割 | サービス |
|---|---|
| 壊し屋AI | Amazon Bedrock AgentCore Runtime / Strands Agents / Amazon Nova Pro |
| 調査AI | AWS DevOps Agent(読み取り専用) |
| 検証アプリ | Amazon API Gateway(HTTP API)→ AWS Lambda → Amazon DynamoDB |
| 監視 | CloudWatch アラーム × 2(API の 5xx、Lambda のエラー) |
1ラウンドの流れ:
- 壊し屋AI を呼び出す(
{"action": "attack"}) - 壊し屋AI が罠を1つ選んで仕込み、調査依頼文と**封筒(答え)**を返す
- 依頼文をそのまま DevOps Agent に渡す
- DevOps Agent が原因を調べる
- 封筒を開けて、答え合わせ
壊し屋AI の実装
罠は「固定の対象だけ」を変更するクラスにまとめる
AI に boto3 を自由に呼ばせるのではなく、決まったリソースの、決まった項目だけを変更するメソッドを用意しました。対象のリソース名はコードに直書きしているので、AI が別のリソースを狙うことはできません。
FUNCTION_NAME = "lt-demo-app"
ALARM_NAME = "lt-demo-lambda-errors"
GOOD_TABLE = "lt-demo-items"
BAD_TABLE = "lt-demo-item" # s が1文字消えている
NORMAL_OPERATOR = "GreaterThanOrEqualToThreshold"
INVERTED_OPERATOR = "LessThanThreshold"
class Traps:
def wrong_table_name(self):
self._ensure_clean() # すでに罠があれば TrapError
self._set_table_name(BAD_TABLE)
return "TABLE_NAME changed"
def invert_alarm(self):
self._ensure_clean()
self._set_alarm_operator(INVERTED_OPERATOR)
return "alarm condition inverted"
def zero_concurrency(self):
self._ensure_clean()
self.lambda_client.put_function_concurrency(
FunctionName=FUNCTION_NAME, ReservedConcurrentExecutions=0)
return "reserved concurrency set to 0"
# 元に戻す処理はコードから呼ぶ。AI には渡さない
def restore_all(self):
...
update_function_configuration で環境変数を渡すと、ほかの変数がすべて置き換わります。今の環境変数を読んでから、1つだけ書き換えて渡すようにしています。put_metric_alarm も同じで、アラームの定義を丸ごと渡す必要があります。
Strands Agents の @tool で AI に渡す
from strands import Agent, tool
from strands.models import BedrockModel
def build_tools(traps, allowed):
@tool
def get_status() -> dict:
"""現在どの罠が仕込まれているかを返す(読み取りのみ)。"""
return traps.status()
@tool
def trap_wrong_table_name() -> str:
"""Lambda の環境変数 TABLE_NAME を存在しないテーブル名に変える。"""
return run(traps.wrong_table_name)
@tool
def trap_invert_alarm() -> str:
"""Lambda のエラーアラームの条件を逆にして、正常時に鳴るようにする。"""
return run(traps.invert_alarm)
@tool
def trap_zero_concurrency() -> str:
"""Lambda の予約同時実行数を 0 にして、一切起動しないようにする。"""
return run(traps.zero_concurrency)
...
AI が決めるのは「どの罠を選ぶか」と「依頼文の文面」だけです。
依頼文と作戦メモは構造化出力で受け取る
from pydantic import BaseModel, Field
class AttackReport(BaseModel):
plan: str = Field(description="作戦メモ。選んだ罠と、調査AIがどこで迷うと考えたか。3行以内")
request: str = Field(description="調査AIに渡す調査依頼文")
# 1ラウンドのターン数とトークン数に上限を設ける
LIMITS = {"turns": 6, "total_tokens": 40000}
result = agent(ATTACK_PROMPT, structured_output_model=AttackReport, limits=LIMITS)
report = result.structured_output
依頼文のルール(システムプロンプト)
依頼文に答えが書いてあると、検証になりません。システムプロンプトで次のように縛りました。
調査依頼文のルール:
- 運用担当者から調査担当への依頼文として、2文以内で書く
- 書いてよいのは「鳴ったアラームの名前」と「利用者から見た症状」だけ
- ログの有無や中身、Lambda の設定、メトリクス、ツール名、調べるべき場所は書かない
- trap_wrong_table_name を選んだ場合に限り、運用担当者が思い込みがちな推測を1文足してよい
(例:最近テーブルを作り直した気がする)
- 発生させた障害の中身や答えは書かない
最後から2つ目のルールが、DevOps Agent への「ひっかけ問題」になります。
「1つだけ仕込んだか」をコードで検証する
AI が指示どおりに動かなかったときのために、終わったあとにコードで状態を確認し、おかしければ全部元に戻します。
injected = active(traps.status())
if len(injected) != 1 or injected[0] not in allowed or report is None:
# 中途半端に壊れた状態で終わらせない
traps.restore_all()
return {"error": "the agent did not inject exactly one allowed trap; everything was restored"}
return {
"request": report.request,
"sealed_plan": seal({"trap": injected[0], "plan": report.plan}),
}
seal() は Base64 にするだけです。暗号化ではなく、答え合わせの前にうっかり中身を見ないための目隠しです。
IAM で「壊していい範囲」を決める
AgentCore Runtime の実行ロールに付けたポリシーです。変更できるのは Lambda 関数1つとアラーム1つだけです。
- Sid: LambdaTraps
Effect: Allow
Action:
- lambda:GetFunctionConfiguration
- lambda:GetFunction # function_updated_v2 waiter が使う
- lambda:UpdateFunctionConfiguration
- lambda:GetFunctionConcurrency
- lambda:PutFunctionConcurrency
- lambda:DeleteFunctionConcurrency
Resource: !Sub arn:${AWS::Partition}:lambda:${AWS::Region}:${AWS::AccountId}:function:lt-demo-app
- Sid: AlarmTrap
Effect: Allow
Action:
- cloudwatch:PutMetricAlarm
- cloudwatch:DescribeAlarms
Resource: !Sub arn:${AWS::Partition}:cloudwatch:${AWS::Region}:${AWS::AccountId}:alarm:lt-demo-lambda-errors
プロンプトで「ほかは触らないで」と頼むだけでは足りません。やってはいけないことは、IAM で物理的にできなくするのが基本です。
やらせにならないための工夫
答え合わせに意味を持たせるため、次のことを決めてから試しました。
| 工夫 | 理由 |
|---|---|
| 罠は壊し屋AI が選び、人間は封筒を開けるまで知らない | 人間が答えを知っていると、依頼文や判定に影響が出る |
| 依頼文は壊し屋AI が書いたものを、そのまま DevOps Agent に渡す | 人間が言い換えると、ヒントが混ざるおそれがある |
| 判定は DevOps Agent の調査が終わってから行う | 途中経過で判定しないため |
| 前のラウンドで使った罠は、次のラウンドの候補から外す | 同じ罠を繰り返し出さないため |
結果:DevOps Agent は3問中3問正解
画面のアカウント ID やリソース ID は伏せています。
| 問題 | 仕込んだ障害 | 依頼文 | DevOps Agent の答え |
|---|---|---|---|
| 1 | テーブル名のすり替え | 「API が 5xx。最近テーブルを作り直した気がする」 | 設定変更で s が消えたことを特定。「作り直した形跡はない」と否定 |
| 2 | 同時実行数を 0 | 「API がエラーを返している」 | ログが出ない中、壊し屋AI の行動ログから犯人と時刻を特定。0 から 10 に戻す案を提示 |
| 3 | アラーム条件の反転 | 「アラームが鳴っているが、症状の報告はない」 | 「エラーが1件未満で鳴る」設定を発見。誤検知と判断し、重大度を下げた |
問題1:わざと間違ったヒントを入れても騙されない
依頼文の「最近テーブルを作り直した気がする」に対して、DevOps Agent は「作り直した形跡はない」と答えました。人間の推測より、記録を優先しています。
問題2:ログが出ない障害でも犯人を特定
同時実行数が 0 だと Lambda が起動しないので、Lambda のログは出ません。さらに、この環境では DevOps Agent から CloudTrail を参照できませんでした。
それでも DevOps Agent は壊し屋AI の行動ログ(AgentCore の記録)を見つけて、「何時何分に、壊し屋AI が同時実行数を 0 にした」と特定しました。
AI エージェントの操作も記録として残り、追跡できます。
問題3:誤検知を見抜く
アプリは正常なのに鳴るアラームを、DevOps Agent は「誤検知」と判断しました。さらに、リハーサルの日に同じ変更がされていたことまで見つけています。
費用
AWS DevOps Agent は、エージェントが作業した時間に応じた従量課金です(調査は$0.0083 /秒)。今回の調査1回分は約 $2.46 で、秒数に直すと約300秒(約5分)でした。
| 項目 | 金額(目安) |
|---|---|
| DevOps Agent の調査1回 | 約370円(約 $2.46) |
| 本番の3回 | 約1,100円 |
| リハーサル込みの検証全体 | 約2,700円 |
ほとんどが DevOps Agent の調査分です。壊し屋AI(AgentCore + Bedrock)は1日数セント程度でした。
なお、上の金額は従量課金で計算したものです。無料利用枠や無料トライアル、AWS サポートプランのクレジットの対象になる場合は、実際の請求はこれより少なくなります。最新の条件は料金ページで確認してください。
ハマったところ
- モデルの選択:検証環境の都合で Claude を使えず、Amazon Nova Pro にしました。罠を選んで依頼文を書く程度なら、問題なく動きました。
- 環境変数とアラームの上書き:上の note のとおり、どちらも「一部だけ更新」ができません。今の値を読んでから全体を渡す必要があります。
- アクセスを流しておく:アラームやメトリクスにデータがないと、障害が起きても何も見えません。デモの間は、スクリプトで API に軽くアクセスを流し続けました。
まとめ
- AWS DevOps Agent は、設定を1つ変える種類の障害なら、根拠つきで正確に原因を当てた
- 間違ったヒントに引っ張られず、ログが出ない障害でも操作の記録から犯人を特定した
- AI に AWS を操作させるなら、対象をコードで固定し、IAM で絞り、結果をコードで検証する
- AI の答えは、根拠まで人間が確かめる
次は、変更が複数重なる障害や、外部サービスの遅延のような記録に残りにくい原因で試してみたいです。
参考
-
この内容は、AWS Meetup Kansai For APN #8(2026年11月17日)の LT で発表しました
この記事は2026年11月時点の情報です。サービスの仕様や料金は変わることがあります。検証環境はすでに削除しています。

