0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AWS DevOps Agent に、AI が仕込んだ障害を解かせてみた ― 間違ったヒントやログが出ない障害でも原因を当てられるか

0
Posted at

はじめに

障害の原因を生成 AI に聞くと、それっぽい答えが返ってきます。でも、その答えが合っているかどうかは、聞いた側のわたしたちが判断しないといけません。

そこで、答えが分かっている障害で試すことにしました。

  • 壊し屋AI:Amazon Bedrock AgentCore + Strands Agents で作った、障害を仕込むエージェント
  • 調査AI:AWS DevOps Agent

壊し屋AI が障害を1つ仕込み、DevOps Agent が原因を調べ、人間が答え合わせをします。検証専用の AWS アカウントに最小構成の環境を作って試し、終わったあとはすべて削除しました。

結論

  • AWS DevOps Agent は 3問中3問正解
  • 依頼文にわざと間違ったヒントを入れても引っかからなかった
  • ログが1行も出ない障害でも、壊し屋AI の行動ログから犯人と時刻を特定した
  • 調査1回あたり 約370円(料金から逆算すると約5分)

ただし、どれも「設定を1つ変えるだけ」の単純な障害で、3問だけの結果です。複雑な障害でも同じように当てられるかは、まだ試していません。

この記事では、壊し屋AI の実装(ツール定義・プロンプト・安全策・IAM)を中心に、コード付きで紹介します。

対象読者

  • Strands Agents / Amazon Bedrock AgentCore で、AWS を操作するエージェントを作りたい人
  • AWS DevOps Agent が障害調査にどこまで使えるか知りたい人
  • AI に権限を渡すときの安全策を考えている人

構成

構成図.png

役割 サービス
壊し屋AI Amazon Bedrock AgentCore Runtime / Strands Agents / Amazon Nova Pro
調査AI AWS DevOps Agent(読み取り専用)
検証アプリ Amazon API Gateway(HTTP API)→ AWS Lambda → Amazon DynamoDB
監視 CloudWatch アラーム × 2(API の 5xx、Lambda のエラー)

1ラウンドの流れ:

  1. 壊し屋AI を呼び出す({"action": "attack"})
  2. 壊し屋AI が罠を1つ選んで仕込み、調査依頼文と**封筒(答え)**を返す
  3. 依頼文をそのまま DevOps Agent に渡す
  4. DevOps Agent が原因を調べる
  5. 封筒を開けて、答え合わせ

壊し屋AI の実装

罠は「固定の対象だけ」を変更するクラスにまとめる

AI に boto3 を自由に呼ばせるのではなく、決まったリソースの、決まった項目だけを変更するメソッドを用意しました。対象のリソース名はコードに直書きしているので、AI が別のリソースを狙うことはできません。

traps.py(抜粋)
FUNCTION_NAME = "lt-demo-app"
ALARM_NAME = "lt-demo-lambda-errors"
GOOD_TABLE = "lt-demo-items"
BAD_TABLE = "lt-demo-item"  # s が1文字消えている
NORMAL_OPERATOR = "GreaterThanOrEqualToThreshold"
INVERTED_OPERATOR = "LessThanThreshold"

class Traps:
    def wrong_table_name(self):
        self._ensure_clean()  # すでに罠があれば TrapError
        self._set_table_name(BAD_TABLE)
        return "TABLE_NAME changed"

    def invert_alarm(self):
        self._ensure_clean()
        self._set_alarm_operator(INVERTED_OPERATOR)
        return "alarm condition inverted"

    def zero_concurrency(self):
        self._ensure_clean()
        self.lambda_client.put_function_concurrency(
            FunctionName=FUNCTION_NAME, ReservedConcurrentExecutions=0)
        return "reserved concurrency set to 0"

    # 元に戻す処理はコードから呼ぶ。AI には渡さない
    def restore_all(self):
        ...

update_function_configuration で環境変数を渡すと、ほかの変数がすべて置き換わります。今の環境変数を読んでから、1つだけ書き換えて渡すようにしています。put_metric_alarm も同じで、アラームの定義を丸ごと渡す必要があります。

Strands Agents の @tool で AI に渡す

agent.py(抜粋)
from strands import Agent, tool
from strands.models import BedrockModel

def build_tools(traps, allowed):
    @tool
    def get_status() -> dict:
        """現在どの罠が仕込まれているかを返す(読み取りのみ)。"""
        return traps.status()

    @tool
    def trap_wrong_table_name() -> str:
        """Lambda の環境変数 TABLE_NAME を存在しないテーブル名に変える。"""
        return run(traps.wrong_table_name)

    @tool
    def trap_invert_alarm() -> str:
        """Lambda のエラーアラームの条件を逆にして、正常時に鳴るようにする。"""
        return run(traps.invert_alarm)

    @tool
    def trap_zero_concurrency() -> str:
        """Lambda の予約同時実行数を 0 にして、一切起動しないようにする。"""
        return run(traps.zero_concurrency)
    ...

AI が決めるのは「どの罠を選ぶか」と「依頼文の文面」だけです。

依頼文と作戦メモは構造化出力で受け取る

agent.py(抜粋)
from pydantic import BaseModel, Field

class AttackReport(BaseModel):
    plan: str = Field(description="作戦メモ。選んだ罠と、調査AIがどこで迷うと考えたか。3行以内")
    request: str = Field(description="調査AIに渡す調査依頼文")

# 1ラウンドのターン数とトークン数に上限を設ける
LIMITS = {"turns": 6, "total_tokens": 40000}

result = agent(ATTACK_PROMPT, structured_output_model=AttackReport, limits=LIMITS)
report = result.structured_output

依頼文のルール(システムプロンプト)

依頼文に答えが書いてあると、検証になりません。システムプロンプトで次のように縛りました。

システムプロンプト(抜粋)
調査依頼文のルール:
- 運用担当者から調査担当への依頼文として、2文以内で書く
- 書いてよいのは「鳴ったアラームの名前」と「利用者から見た症状」だけ
- ログの有無や中身、Lambda の設定、メトリクス、ツール名、調べるべき場所は書かない
- trap_wrong_table_name を選んだ場合に限り、運用担当者が思い込みがちな推測を1文足してよい
  (例:最近テーブルを作り直した気がする)
- 発生させた障害の中身や答えは書かない

最後から2つ目のルールが、DevOps Agent への「ひっかけ問題」になります。

「1つだけ仕込んだか」をコードで検証する

AI が指示どおりに動かなかったときのために、終わったあとにコードで状態を確認し、おかしければ全部元に戻します。

agent.py(抜粋)
injected = active(traps.status())

if len(injected) != 1 or injected[0] not in allowed or report is None:
    # 中途半端に壊れた状態で終わらせない
    traps.restore_all()
    return {"error": "the agent did not inject exactly one allowed trap; everything was restored"}

return {
    "request": report.request,
    "sealed_plan": seal({"trap": injected[0], "plan": report.plan}),
}

seal() は Base64 にするだけです。暗号化ではなく、答え合わせの前にうっかり中身を見ないための目隠しです。

IAM で「壊していい範囲」を決める

AgentCore Runtime の実行ロールに付けたポリシーです。変更できるのは Lambda 関数1つとアラーム1つだけです。

role.yaml(抜粋)
- Sid: LambdaTraps
  Effect: Allow
  Action:
    - lambda:GetFunctionConfiguration
    - lambda:GetFunction  # function_updated_v2 waiter が使う
    - lambda:UpdateFunctionConfiguration
    - lambda:GetFunctionConcurrency
    - lambda:PutFunctionConcurrency
    - lambda:DeleteFunctionConcurrency
  Resource: !Sub arn:${AWS::Partition}:lambda:${AWS::Region}:${AWS::AccountId}:function:lt-demo-app
- Sid: AlarmTrap
  Effect: Allow
  Action:
    - cloudwatch:PutMetricAlarm
    - cloudwatch:DescribeAlarms
  Resource: !Sub arn:${AWS::Partition}:cloudwatch:${AWS::Region}:${AWS::AccountId}:alarm:lt-demo-lambda-errors

プロンプトで「ほかは触らないで」と頼むだけでは足りません。やってはいけないことは、IAM で物理的にできなくするのが基本です。

やらせにならないための工夫

答え合わせに意味を持たせるため、次のことを決めてから試しました。

工夫 理由
罠は壊し屋AI が選び、人間は封筒を開けるまで知らない 人間が答えを知っていると、依頼文や判定に影響が出る
依頼文は壊し屋AI が書いたものを、そのまま DevOps Agent に渡す 人間が言い換えると、ヒントが混ざるおそれがある
判定は DevOps Agent の調査が終わってから行う 途中経過で判定しないため
前のラウンドで使った罠は、次のラウンドの候補から外す 同じ罠を繰り返し出さないため

結果:DevOps Agent は3問中3問正解

画面のアカウント ID やリソース ID は伏せています。

問題 仕込んだ障害 依頼文 DevOps Agent の答え
1 テーブル名のすり替え 「API が 5xx。最近テーブルを作り直した気がする」 設定変更で s が消えたことを特定。「作り直した形跡はない」と否定
2 同時実行数を 0 「API がエラーを返している」 ログが出ない中、壊し屋AI の行動ログから犯人と時刻を特定。0 から 10 に戻す案を提示
3 アラーム条件の反転 「アラームが鳴っているが、症状の報告はない」 「エラーが1件未満で鳴る」設定を発見。誤検知と判断し、重大度を下げた

問題1:わざと間違ったヒントを入れても騙されない

依頼文の「最近テーブルを作り直した気がする」に対して、DevOps Agent は「作り直した形跡はない」と答えました。人間の推測より、記録を優先しています。

問題2:ログが出ない障害でも犯人を特定

同時実行数が 0 だと Lambda が起動しないので、Lambda のログは出ません。さらに、この環境では DevOps Agent から CloudTrail を参照できませんでした。

それでも DevOps Agent は壊し屋AI の行動ログ(AgentCore の記録)を見つけて、「何時何分に、壊し屋AI が同時実行数を 0 にした」と特定しました。

AI エージェントの操作も記録として残り、追跡できます。

問題3:誤検知を見抜く

アプリは正常なのに鳴るアラームを、DevOps Agent は「誤検知」と判断しました。さらに、リハーサルの日に同じ変更がされていたことまで見つけています。

費用

AWS DevOps Agent は、エージェントが作業した時間に応じた従量課金です(調査は$0.0083 /秒)。今回の調査1回分は約 $2.46 で、秒数に直すと約300秒(約5分)でした。

項目 金額(目安)
DevOps Agent の調査1回 約370円(約 $2.46)
本番の3回 約1,100円
リハーサル込みの検証全体 約2,700円

ほとんどが DevOps Agent の調査分です。壊し屋AI(AgentCore + Bedrock)は1日数セント程度でした。

なお、上の金額は従量課金で計算したものです。無料利用枠や無料トライアル、AWS サポートプランのクレジットの対象になる場合は、実際の請求はこれより少なくなります。最新の条件は料金ページで確認してください。

ハマったところ

  • モデルの選択:検証環境の都合で Claude を使えず、Amazon Nova Pro にしました。罠を選んで依頼文を書く程度なら、問題なく動きました。
  • 環境変数とアラームの上書き:上の note のとおり、どちらも「一部だけ更新」ができません。今の値を読んでから全体を渡す必要があります。
  • アクセスを流しておく:アラームやメトリクスにデータがないと、障害が起きても何も見えません。デモの間は、スクリプトで API に軽くアクセスを流し続けました。

まとめ

  • AWS DevOps Agent は、設定を1つ変える種類の障害なら、根拠つきで正確に原因を当てた
  • 間違ったヒントに引っ張られず、ログが出ない障害でも操作の記録から犯人を特定した
  • AI に AWS を操作させるなら、対象をコードで固定し、IAM で絞り、結果をコードで検証する
  • AI の答えは、根拠まで人間が確かめる

次は、変更が複数重なる障害や、外部サービスの遅延のような記録に残りにくい原因で試してみたいです。

参考

この記事は2026年11月時点の情報です。サービスの仕様や料金は変わることがあります。検証環境はすでに削除しています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?