AWS セキュリティハンズオン連続開催のご案内
https://aws.amazon.com/jp/blogs/news/aws-security-handson-series/
本記事では、上記ハンズオンの11月11日開催回「Claude/GPT などのフロンティアモデルを活用したソースコードの脆弱性対策 ハンズオン」をもとに、Claude Security plugin、Codex Security plugin、AWS Security Agent のコードレビューを比較します。
今回はハンズオンで扱った内容に加え、独自の検証も行いました。
先日、AWS Security Agent でコードレビューした OWASP Juice Shop に対して、Claude Security plugin と Codex Security plugin でも同じようにコードレビューしました。
各ツールの結果の比較や、各ツールを組み合わせるときの役割分担も紹介します。
なお、AWS Security Agentによるコードレビューについては、私が以前実践した、スクリーンショット付きの記事があります。
AWS Security Agent ハンズオン:GitHub リポジトリのコードレビューを実践する
本記事と合わせてご覧いただけますと幸いです。
さて、今回ご紹介するものと同じ内容のハンズオンは、12月以降も定期的に開催されると思われます。また、後日ハンズオンの手順書が公開される可能性もありますので、そちらと合わせてご参照ください。
Claude Security plugin や Codex Security plugin を使った GitHub リポジトリのコードレビューを行うためには、LLM 側のプラグイン設定や GitHub 側の権限設定など、いくつかの準備が必要です。本記事では、実際に操作した画面を掲載しながら、準備からレビュー結果の確認、修正、再検証までをまとめます。
1. はじめに:10万行のコードと、ちょっとした不安
AI を使った開発では、短期間に大規模なコードを生成できます。最近は、有名 IT 企業の社長が「2か月で10万行のコードを書いた」といった話も話題になりました。まるで、開発チームに強力な援軍が一気に現れたようで、聞いているだけでもワクワクします。
一方で、ここで少しだけ立ち止まりたいところです。そのコードのセキュリティは大丈夫でしょうか?
一見、画面操作や基本的な購入フローが動いていても、認証・認可、入力値検証、機密情報の扱いといった、通常の画面操作では見つかりにくいセキュリティ上の問題を見落とす可能性があります。コード量が増えるほど、人手だけで全体を確認することも難しくなります。
本記事では、バイブコーディングで生成した10万行のコードの代わりに、意図的に脆弱性を含む OWASP Juice Shop を使います。いわば、安心して訓練できる演習場です。
これを GitHub のプライベートリポジトリに用意し、Claude Security plugin や Codex Security plugin を用いたコードレビューを実行しました。GitHub への接続、コードレビュー、検出結果の確認、パッチの生成、Pull Request の作成とマージまで、ソースコードのレビューから修正までの流れを、画面キャプチャとコマンドを交えて説明します。長めの記事なので、気になる章から読んでいただいても構いません。
ここで扱うのは検証用アプリケーションです。実際のサービスをレビューする場合は、対象リポジトリの権限、実行ロール、ログに含まれる情報、テストにかかる時間と料金を事前に確認してください。
今回の Claude Security plugin や Codex Security plugin の利用は、コードの読み取り、脅威モデリング、脆弱性候補の検証、パッチ作成といった防御的なコードレビューが中心です。一方、PoC コードの生成、exploit の実行、認可されたペネトレーションテストなど、より高リスクなセキュリティ調査を行う場合は、モデルの安全機能を回避するのではなく、対象となる用途、環境、権限、責任範囲を明確にしたうえで、必要なアクセス区分や申請を確認する必要があります。Anthropic では Cyber Verification Program(CVP)、OpenAI では Trusted Access for Cyber(TAC)が、このようなサイバーセキュリティ用途に関するアクセス区分の例です。Bedrock 経由で Claude や GPT を利用する場合も、これらのセーフガードや AWS 側の利用条件がなくなるわけではありません。実際のシステムを対象にする場合は、必ず所有者の明示的な許可を得て、隔離された検証環境と記録・監査の仕組みを用意してください。
これらの仕組みは、ペネトレーションテスト、仕様に対するデザインレビュー、STRIDE に基づく脅威分析などにも応用できます。さらに、Claude Code に AWS Security Agent plugin を導入することで、AWS Security Agent を AWS のマネジメントコンソールだけでなく Claude Code から利用することもできます。今回はその中から、コードレビューから修正・再検証までの流れに焦点を当てます。まずは偵察、次に分析、最後に実際の動作確認――少しだけ『攻殻機動隊』のような気分で、アプリケーションの内側と外側を眺めていきましょう。
2. フロンティアモデルを活用したコードレビューの全体像
まずは、フロンティア AI を用いたセキュリティテストについて概説します。次の章以降で、実際の画面キャプチャを踏まえたコードレビューの事例を詳しく説明します。
概要がわかっている方は、読み飛ばしても構いません。
フロンティア AI を用いたコードレビューについて、これから述べることを要約すると次のとおりです。
- AI セキュリティスキャンは、SAST、SCA、DAST、ペネトレーションテストを置き換えるものではなく、相互補完するものです。
- Claude Security plugin や Codex Security plugin は、コードや脅威モデルを理解して脆弱性候補を探索し、別エージェントによる反証・検証を通じて、対応すべき問題を絞り込みます。
- 実際の悪用可能性、ネットワークからの到達可能性、修正後の再確認には、AWS Security Agent for Code Vulnerabilities (Code Review) や AWS Security Agent for Penetration Testing などを組み合わせます。
- OS、パッケージ、OSS 依存関係などの既知脆弱性は、Amazon Inspector などの SCA 系機能で管理します。
- 導入効果はモデル単体では決まらず、モデル、ハーネス、コンテキスト、運用プロセスの組み合わせで決まります。
2.1 Claude Security plugin や Codex Security plugin とは
Claude Security plugin は、Claude Code 上で利用する汎用的な AI 脆弱性検査ハーネスです。
主な処理の流れ
- 対象コードを棚卸しする
- 脅威モデルを作成する
- 複数のリサーチャーエージェントが並列調査する
- 別の検証エージェントが発見内容を反証する
- 深刻度と確信度を付けてレポートする
- 修正案を生成する
- テストで修正内容を確認する
- 人間がレビューしてマージする
単に LLM へコードを渡して脆弱性を質問するのではなく、発見役と検証役を分離して偽陽性を減らす設計が特徴です。
Codex 上では Codex Security plugin で同様の機能を活用できます。
LLM に Claude を使う場合は Claude Code で Claude Security plugin を、GPT を使う場合は Codex 上で Codex Security plugin を使います。
2.2 Amazon Bedrock とセーフガード
Amazon Bedrock 経由で Claude や GPT を利用しても、Anthropic や OpenAI が提供するサイバーセーフガードは動作します。
したがって、次の理解は誤りです。
Bedrock 経由であれば、モデルのセキュリティ制限を回避できる。
用途と追加申請の目安
| 用途 | 追加申請の考え方 |
|---|---|
| コード・設計レビュー | 原則不要 |
| 脅威モデリング | 原則不要 |
| セキュリティコードレビュー | 原則不要 |
| パッチ作成 | 原則不要 |
| 高度な脆弱性トリアージ | CVP または TAC の該当 Tier |
| マルウェア分析 | CVP または TAC の該当 Tier |
| 許可されたペネトレーションテスト | Red Team 系 Tier |
| エクスプロイトの再現・検証 | Red Team 系 Tier |
| 重要インフラなど高リスク対象のテスト | 上位のアクセス区分 |
- Anthropic:Cyber Verification Program(CVP)
- OpenAI:Trusted Access for Cyber(TAC)
CVP のアクセス区分
- Defense Access:防御的な業務
- Red Team Access:認可されたペネトレーションテスト、レッドチーム
- Specialized Access:重要な安全系システムのテスト
拒否とアクセス制限
- 通常は、セーフガード対象のリクエストに対して拒否応答が返ります。
- 同様の拒否対象リクエストを繰り返すと、アクセス制限につながる可能性があります。
2.3 各セキュリティ手段の役割
基本的な違い
- SAST:コードに既知の欠陥パターンがあるか
- SCA:依存関係や構成要素に既知の脆弱性があるか
- DAST:稼働中のアプリケーションが既知の攻撃に反応するか
- ペネトレーションテスト:攻撃者が実際にどこまで到達できるか
製品・機能別の位置づけ
| 手段 | 主な役割 |
|---|---|
| Amazon Inspector | OS、パッケージ、依存ライブラリ、コンテナ、Lambda、IaC などの既知脆弱性や露出を検出 |
| Claude Security plugin / Codex Security plugin | 実装やロジックに起因する脆弱性を AI で探索し、修正案を提示 |
Claude Code /code-review
|
一般的なコード品質、正しさ、ロジックバグを確認 |
| AWS Security Agent for Code Vulnerabilities (Code Review) | 脆弱性の発見、悪用可能性の実証、AWS 環境を踏まえた優先順位付け |
| AWS Security Agent for Penetration Testing | 稼働アプリへの侵入テスト、証拠付き報告、修正後の再確認 |
重要なのは、製品を排他的に比較することではなく、次のように組み合わせることです。
Amazon Inspector / SCA
↓
Claude Security plugin あるいは Codex Security plugin / AI コード解析
↓
人間によるトリアージ
↓
AWS Security Agent / ペネトレーションテスト
↓
修正・PR・CI/CD
↓
再テスト・定期スキャン
2.4 AWS Security Agent の位置づけ
AWS Security Agent for Code Vulnerabilities (Code Review)
- ソースコード解析
- AWS 環境のコンテキスト利用
- 隔離サンドボックスでの悪用可能性検証
- PoC や再現手順の生成
- ネットワーク経由で脆弱箇所へ到達できるかの判断
- 現実的なリスクに基づく優先順位付け
AWS Security Agent for Penetration Testing
- コードやドキュメントからテスト計画を作成
- 多段階のテストを実行
- 発見した問題を個別に検証
- 証拠や修正コードを付けて報告
- 修正後の再テスト
- CI/CD との統合
重要な考え方は、次の 2 つを区別することです。
- 既知の脆弱性が存在する
- 実際の環境で悪用できる
Amazon Inspector などで構成要素と既知 CVE を確認し、AWS Security Agent で再現可能性やネットワーク到達可能性を検証する、という組み合わせが実用的です。
2.5 コンテキストエンジニアリングの重要性
AI によるコード解析やペネトレーションテストでは、モデル性能だけでなく、AI へ渡すコンテキストが結果を左右します。
与えるべき情報の例
- システム構成
- 言語とフレームワーク
- プロジェクト固有の設計知識
- 認証・認可モデル
- 信頼境界
- 外部公開範囲
- 重要なデータや資産
- 想定する攻撃者
- 脅威モデル
- 受け入れ条件や仕様
コンテキストを共有することで、次のような従来のパターンベース解析が苦手とする問題を検知しやすくなります。
- IDOR
- 認可バイパス
- 複数脆弱性の連鎖
- ビジネスロジック上の問題
- 環境構成を踏まえた実際の影響
2.6 人間によるペネトレーションテストの必要性
AI による検査が高度化しても、人間のペネトレーションテストが不要になるわけではありません。
完全なブラックボックスとして AI を使う場合、次の課題があります。
- トークンコストが増大する
- 実行ごとに結果が変わる
- 検出結果の再現性が低下する
- 複雑な認証・認可や外部サービス依存を再現しにくい
- 実環境に近い被害範囲や影響を客観的に評価しにくい
AI は探索と検証の範囲を広げ、人間は高価値な検証、リスク判断、業務影響の評価に集中するという役割分担が適切です。
2.7 Claude Security と Codex Security の比較
どちらが常に優れているとは限りません。AI スキャンは同じコードでも結果が変わることがあり、モデルとハーネスも継続的に更新されます。
Claude Security plugin
- 発見エージェントと検証エージェントを分離
- 複数の観点から反証
- 深刻度と確信度を付与
- 根本原因を直すパッチを提案
- コストはスキャン範囲と effort で調整
Codex Security plugin
- 独立監査と複数の並列調査
- 親エージェントが結果を統合
- ソースを1件ずつ検証
- 境界を閉じる最小修正を提案
-
--max-costで見積もりベースのコスト上限を指定可能
推奨評価方法
自社リポジトリまたは既知脆弱性を含む検証環境で、両者を複数回実行して比較します。
2.8 PoC・製品評価の観点
単純な検出件数だけでは適切に評価できません。
評価項目
- 脆弱性種類ごとの検出率
- 誤検知の少なさ
- 悪用可能性の証拠
- 再現手順の有無
- 人間による確認時間
- 重大度の妥当性
- 修正パッチの品質
- 既存テストへの影響
- 新しい問題を混入していないか
- 複数回実行時の結果のばらつき
- 実行時間
- 実行コスト
- 組み合わせによって人間の確認件数がどれだけ減ったか
検証対象の例
- OWASP Juice Shop など、既知の脆弱性を含む学習用アプリ
- 過去に修正した自社脆弱性を検証用ブランチへ戻したもの
- インターネットへ公開していない隔離された検証環境
2.9 実運用の推奨パターン
Step 1:小さく開始する
システム構成図を作り、外部から到達可能で重要なサービスを優先します。最初から全リポジトリを毎日フルスキャンするのは避けます。
Step 2:初回は深くスキャンする
重要サービスや初回スキャンでは深い解析を行い、新しい検出が収束するまで複数回実施します。
Step 3:対象・深さ・回数・予算を決める
Claude の effort については、次の目安があります。
-
medium:日常作業、範囲が明確、コスト重視 -
high:検証が重要、エッジケースがありそう -
max:難しい脆弱性探索
max は常に最適とは限らず、効果の頭打ちや過剰思考の可能性があるため、事前評価が必要です。
Step 4:人間がトリアージする
AI の findings をそのまま開発チームへ渡すのではなく、以下を踏まえて優先順位を付けます。
- インターネットから到達可能か
- 特殊な設定が必要か
- 認証または特権アクセスが必要か
- 被害者の操作が必要か
- コード実行やデータ変更につながるか
- テナントを横断する影響があるか
- 対象資産の価値は高いか
Step 5:修正から再確認まで回す
検出
↓
検証・反証
↓
トリアージ
↓
修正案の人間レビュー
↓
PR・CI/CD
↓
デプロイ
↓
再スキャン・再テスト
↓
定期実行
2.10 検出結果の管理
脆弱性の検出結果や PoC は、攻撃者に悪用される可能性があります。
- 対象システムの通常リポジトリとは分離して管理する
- 専用の管理ストアを使用する
- アクセス権を必要最小限に制限する
- Git へ無条件にコミットしない
- 保存期間、監査ログ、持ち出し制御を定める
2.11 組織として最初に行うこと
AI セキュリティへ進む前に、基本的な検知・防御を整える必要があります。
- Amazon GuardDuty などの検知を有効化する
- Amazon Inspector などで資産と脆弱性を継続的に棚卸しする
- AWS WAF、ID 管理、ネットワーク分離、暗号化などの多層防御を整備する
- 外部公開範囲と重要資産を把握する
- 修正からデプロイまでの責任者・プロセスを決める
- 小規模な AI スキャン PoC を実施する
- DevSecOps プロセスへ段階的に統合する
生成 AI セキュリティは既存のセキュリティ基盤の代替ではなく、その上に追加する新しい検出・検証レイヤーです。
2.12 実際のセキュリティテストの流れの例
重要なのは、AI で脆弱性を大量に見つけること自体ではありません。
AI で探索範囲を広げ、別エージェントの反証、システムコンテキスト、実攻撃による検証を通じて、本当に修正すべき問題へ絞り込み、修正と再確認までを開発サイクルに組み込むことが本質です。
推奨する全体像は次のとおりです。
基本防御・検知
GuardDuty / WAF / IAM / 多層防御
↓
既知脆弱性の管理
Amazon Inspector / SCA
↓
AI コード解析
Claude Security plugin / Codex Security plugin
↓
人間によるトリアージ
↓
悪用可能性の検証
AWS Security Agent / ペネトレーションテスト
↓
修正・PR・CI/CD
↓
再テスト・定期スキャン
以上が、フロンティア AI を活用したセキュリティテストの概論です。
この後は、具体的なコードレビューのプロセスを、画面キャプチャを交えながら、実際の操作手順がイメージできるように詳しく説明していきます。
3. Claude Security plugin によるコードレビュー
Claude のハンズオンでは、Amazon Bedrock 経由で Claude Code を起動し、Flask 公式チュートリアルのブログアプリ flaskr を対象にしました。
3.1 Flask アプリで基本的な流れを確認する
まず、対象アプリを独立した Git リポジトリとして用意し、仮想環境とテスト依存関係を設定します。レビュー前に pytest が通り、git status が clean であることを確認しておくのが重要です。レビュー前の状態が明確でなければ、AI が見つけた問題と、もともと存在した問題を区別できないからです。
次に Claude Security plugin を対象環境へインストールし、Claude Code を起動し直します。インストール後に再起動しないと /claude-security が認識されないため、ここは小さな落とし穴です。まるでプラグインを装備したのに、再起動を忘れて必殺技が出ない状態です。
リポジトリ全体をスキャンする
全体を確認するときは、Claude Code で次のように依頼します。
/claude-security リポジトリ全体を medium の effort でスキャンしてください。
説明やレポートは日本語で記載してください。
コードのコメントやエラーメッセージは既存のコードに合わせてください。
/security-review は現在のブランチで変更された部分を対象にした、比較的手早いレビューです。一方、/claude-security は脅威モデルを作成して、リポジトリ全体または指定範囲を深く調査します。日常のプルリクエストには前者、リリース前の棚卸しや初回診断には後者、という使い分けが分かりやすいでしょう。
今回の flaskr の全体スキャンでは、次のような指摘が報告されました。
- セッション署名用の
SECRET_KEYが公開済みの初期値のままで、セッションを偽造できる - 投稿の作成・更新・削除に CSRF 対策がなく、ログイン中の利用者に意図しない操作をさせられる
- ログイン試行回数の制限やロックアウトがない
- 登録時に非常に弱いパスワードを許可している
ここで大切なのは、件数よりも、各指摘にコード上の証拠、入力から危険な処理までのデータフロー、深刻度、確信度が付いていることです。レポートを日本語化する場合も、ファイル名、行番号、CWE、重大度などの機械的に照合できる情報は原文のまま残すと、後からコードへ戻りやすくなります。
変更部分をスキャンし、検証して修正する
次に main から機能追加ブランチを作り、変更部分だけをスキャンします。マージ前のレビューでは全体スキャンよりも差分スキャンの方が、確認対象とコストを抑えやすくなります。
/claude-security このブランチで main から変更した部分を medium の effort で
スキャンしてください。時間とトークンがかかることは理解しています。
説明やレポートは日本語で記載してください。
検出された SQL インジェクションなどについては、すぐにパッチを適用しません。まず、隔離した検証環境で攻撃が本当に成立するかを確認します。その後、Claude Security plugin にパッチを提案させ、patches/PATCHES.md と各パッチの説明を読み、どのファイルが変わるのか、テストが実行されたのか、複数のパッチが同じ箇所を変更していないかを確認します。
/claude-security 最新のレポートにあるすべての指摘について、
パッチを提案してください。説明やレポートは日本語で記載してください。
パッチは自動的に無条件で適用されるわけではありません。git apply で必要なものだけを適用し、差分を読み、テストを実行し、攻撃確認用のスクリプトをもう一度実行します。修正が効いたことを確認してからコミットする、という人間のゲートを残すことが重要です。
発展課題では、ハードコードされた SECRET_KEY の修正も行います。環境変数や instance/ の設定から鍵を読み込む方式など、修正方法によってはアプリの起動方法が変わります。安全な修正でも既存の利用手順を変えることがあるため、パッチの説明とテスト結果を読んでから採用します。
3.2 Juice Shop を Claude Code からレビューする
GitHub プライベートリポジトリへのアクセスを準備する
AWS Security Agent ではアプリから GitHub の特定リポジトリへ接続していました。今回は
Claude Code から接続するため、対象リポジトリを限定した fine-grained PAT を作成します。
トークン名と有効期限を設定し、対象リポジトリにはレビュー対象だけを選びます。権限も
Contents、Metadata、Pull requests など必要なものに絞り、過剰な権限を与えないようにします。
権限が足りない場合は必要に応じて追加します。
今回は、最終的には以下のように Actions と Commit statuses にも権限を追加しました。
PAT の値は発行直後にしか表示されないため、コピーし忘れたら新しいトークンを再生成してください。
発行した PAT を GitHub CLI の認証に利用します。
Claude Code とは別のシェルで実行します。
gh auth login で PAT を入力し、必要に応じて gh auth setup-git を実行します。
gh auth status で認証先とアカウントを確認できれば、Git の clone、fetch、push、
Pull Request の作成に使える状態です。
Claude Code 上でこの操作を行うと PAT の認証情報を Claude Code が覚えてしまうおそれがあるため、
必ず別のシェルで gh auth login を実行してください。
Claude Code からも対象の GitHub プライベートリポジトリを参照できることを確認します。
この時点ではまだスキャンを開始せず、接続先、ローカルの作業ディレクトリ、対象ブランチ
が意図したものかを確認します。
リポジトリをローカルで実行して確認する
次に Juice Shop をローカルで起動し、依存関係、待ち受けポート、画面表示を確認します。
セキュリティレビュー前にアプリが通常どおり動くことを確認しておくと、後で修正を適用
した際に、脆弱性の修正による変化と単なる起動不良を切り分けられます。
開始前の Git ブランチの設定では、レビュー用のブランチを origin/develop などの基準
ブランチから作成します。スキャン結果、パッチ、テスト結果をこのブランチにまとめる
ことで、元のコードを直接変更せずに比較できます。
/claude-security でスキャンする
準備ができたら /claude-security を実行します。
最初の画面では、スキャンに時間とトークンを消費すること、完了まで Claude Code を開いたままにすることが確認されます。
ここで対象リポジトリと指示内容をもう一度確認し、意図しないディレクトリを解析しないようにしてから開始します。
スキャンは、まずコードベースの Inventory を作り、次に Threat model を作成します。
その後、認証・認可、入力値検証、暗号や秘密情報などの観点を分担する Research agent
が調査し、Sweep と Panel で見落としや重複を確認します。画面には現在のフェーズ、
エージェント数、使用トークン、処理中・待機中のタスクが表示されるため、単なる進捗
バーではなく、どの観点を調査しているかを確認できます。
以下に途中経過の画面を示します。スキャンがどのように進むのかを確認できます。
スキャン結果を確認する
完了後はレポートの重大度、確信度、該当ファイルと行、根拠、未調査範囲を確認します。
Juice Shop には意図的なチャレンジが含まれるため、検出件数をそのまま製品の欠陥数
とは扱いません。対象ブランチの目的と照合し、修正対象を人間がトリアージします。
パッチを作成する
パッチ生成では、全指摘を一度に機械的に適用するのではなく、修正候補、見送り、
検証に失敗した候補を分けて確認します。画面の例でも、生成途中に安全フィルターで
処理が停止した指摘があり、未処理の件数や競合しうるファイルが明示されています。
最終的に出力されたパッチは git apply --check、差分確認、既存テストの順に検証し、
攻撃経路が閉じたことを確認してから採用します。
PR(Pull Request)を作成する
PR(Pull Request)の作成では、修正用ブランチを基準ブランチから切り出し、パッチを適用してテストを
実行します。PR 本文には、対象の指摘、変更ファイル、検証コマンドと結果を記録します。
スクリーンショットでは SQL インジェクション修正の例として、アプリ側のクエリ変更に
加えてサーバーテストと E2E テストの変更も確認できます。
Pull Request を確認してマージする
PR を GitHub 上で確認します。
別の AI に PR を検証させる方法は「LLM as a Judge」と呼ばれ、補助的なレビューとして
有効です。
ただし、最終的なレビュー、CI の結果確認、マージの判断は人間が行います。
今回は人間が内容を確認してマージを判断し、マージおよびマージ後の後始末は AI に委任しました。
Claude Code 側でもマージを確認し、後始末をします。
3.3 AWS Security Agent のレポートと比較する
AWS Security Agent によるレポート(外部レポート)と Claude Security plugin のレポート(自己レポート)を比較し、次回の診断に活かせる知見として整理します。
対象コミット、検出条件、除外したチャレンジ、未確認事項をそろえます。件数の差だけで
優劣を決めず、同じ問題を同じ根拠で追跡できるか、修正後に再現しなくなったかを見ます。
3.4 比較結果を反映して再レビューする
/claude-security で再スキャンする
AWS Security Agent の出力との比較を踏まえたうえで、再度同じプロンプトでコードレビューを実行し、結果を確認します。
修正後のブランチを再スキャンします。再スキャンでは、修正した指摘が解消された
ことだけでなく、同じファイルの別経路に問題が残っていないか、新しい回帰が生じて
いないかも確認します。レポートの「解消」「未解決」「対象外」を区別して記録し、
必要なら追加のテストや AWS Security Agent による環境側の検証へ引き継ぎます。
以下に途中経過の画面を示します。
再スキャンが終わりました。
安全機構による応答拒否で、2回失敗 との出力がありました。
LLM 側のガードレールが働いたためです。より深い調査を行う場合は、
Anthropic の Cyber Verification Program(CVP) など、必要なアクセス区分を確認してください。
再スキャン結果を踏まえてパッチを作成する
パッチ生成では、全指摘を一度に機械的に適用するのではなく、修正候補、見送り、
検証に失敗した候補を分けて確認します。画面の例でも、生成途中に安全フィルターで
処理が停止した指摘があり、未処理の件数や競合しうるファイルが明示されています。
最終的に出力されたパッチは git apply --check、差分確認、既存テストの順に検証し、
攻撃経路が閉じたことを確認してから採用します。
修正内容を Pull Request にまとめる
PR 作成では、修正用ブランチを基準ブランチから切り出し、パッチを適用してテストを
実行します。PR 本文には、対象の指摘、変更ファイル、検証コマンドと結果を記録します。
スクリーンショットでは SQL インジェクション修正の例として、アプリ側のクエリ変更に
加えて、サーバーテストと E2E テスト(今回は不要のため未実行とのこと)などのリグレッションテストも確認できます。
AWS Security Agent の Pull Request を分析する
ここまで、Claude Security plugin を使ってコードレビューから Pull Request の作成までを行ってきました。
この後は PR を評価してマージする作業に続きます。作業の流れは先ほどと同じためここでは省略します。
ここでは一旦立ち止まり、参考情報として、外部のコードレビューエージェントである AWS Security Agent が以前に作成した Pull Request を分析します。
これと比較することで、Claude Security plugin が作成した修正の品質に関する考察を深めたいと考えます。
AWS Security Agent が作成した PR をそのまま使い、Claude Security plugin が編集しなかったものについては、「LLM as a Judge」によるとマージ非推奨と判定されました。
Claude Security plugin で PR の品質を改善する
AWS Security Agent が作成した PR を、
Claude Security plugin が引き継ぎ、
この PR の品質改善を進めていきます。
AWS Security Agent は PR の作成まで人間の介在なしに自動で実行できて便利ですが、途中で人間が対話的に介入することはできません。
一方、Claude Code では AI と対話しながら PR を修正できます。
Claude Code 側で PR を修正したことで、「LLM as a Judge」でマージ可能と判定されました。
先ほどと同様に、人間が内容を確認して判断したうえで、マージと後始末の実作業は AI に委任します。
このような役割分担は、最近の AI エージェントで一般的になっており、
AI-DLCでもそのように謳っております。
AI-DLCについては、私が以前実践した、スクリーンショット付きのガイドもあります。
銀河の歴史が、また1ページ。——「AI-DLC」という新戦術で、ゼロから始める新開発生活
記事は AI-DLC workflows v1 をベースにしています。v2 では機能が拡張されていますが、要件を整理し、人間が確認しながら AI と段階的に開発するという基本的な考え方は共通しています。興味があれば、こちらも休日のコーヒーのお供にどうぞ。
3.5 Claude Security plugin と AWS Security Agent の役割を整理する
Claude Code に Claude Security plugin を組み込むと、Claude Code の対話環境から、コードの探索、脅威モデル作成、検証、パッチ提案までを一つの流れで進められます。一方、AWS Security Agent は AWS のサービスや実行環境のコンテキストを含めて、脆弱性の悪用可能性や優先順位を確認する役割に向いています。
| 観点 | Claude Security plugin | AWS Security Agent |
|---|---|---|
| 主な対象 | ソースコード、設計、脅威モデル | ソースコードと AWS 環境、稼働アプリ |
| 得意なこと | 実装やロジックの脆弱性候補を広く探す | AWS 上での到達可能性、悪用可能性、環境影響を評価する |
| 検証 | 別エージェントによるコード上の反証 | 隔離環境や実環境に近い条件での検証 |
| 出力 | 深刻度・確信度付きのコードレビュー、修正案 | 証拠付きの優先順位、PoC、再テスト結果 |
| 位置づけ | 早期の設計・実装レビュー | 実環境を踏まえた検証・ペネトレーションテスト |
AWS Security Agent では、コード解析に加えて AWS 環境のコンテキストを使い、脆弱性が実際に悪用できるか、ネットワークから到達できるかを確認して優先順位を付ける用途を想定しています。例えば Penetration Testing は、稼働中のアプリケーションを対象にテスト計画を作り、証拠付きで報告し、修正後に再テストする位置づけです。
したがって、両者は競合というより、次のような関係です。
AWS Security Agent
マネージドサービスとして自動でセキュリティチェックを実施
↓
Claude Security plugin
AWS Security Agent の結果を踏まえて、人間が対話的にセキュリティチェックを実施
↓
人間によるトリアージ
↓
AWS Security Agent
AWS 環境のコンテキストを使って、再度セキュリティチェックを実施
↓
修正・デプロイ・再テスト
ただし、今回の Juice Shop のように意図的に脆弱性を含む教材アプリケーションをレビューするときは、検出結果をそのまま「製品の脆弱性件数」と数えないよう注意が必要です。
4. Codex Security plugin によるコードレビュー
Codex のハンズオンでは、OpenAI Codex CLI を Amazon Bedrock の GPT モデルへ接続し、
Claude の章と同じ Flask の flaskr を対象にしました。手順には共通点がありますが、
呼び出し方と修正フローに違いがあります。
4.1 準備とスキャン
Codex 側では、Bedrock Runtime を使う設定を用意します。通常の AWS 認証を利用するため、OpenAI の API キーや OpenAI へのログインは必要ありません。起動後に /status を実行し、Model provider: amazon-bedrock-runtime と、ファイル操作が承認制になっていることを確認します。
Codex Security plugin は $security-scan のような skill と、スキャン状態やレポートを保存する MCP サーバーで構成されています。全体スキャンは次のように依頼します。
$security-scan このリポジトリ全体をスキャンしてください。
指摘の検証はコードを読んだ静的な根拠だけで行い、攻撃コード(PoC)は作らないでください。
保存されたレポートの場所と、調べきれなかった範囲も教えてください。
説明やレポートは日本語で記載してください。
ほかにも、差分だけを調べる $security-diff-scan、独立した調査を繰り返す $deep-security-scan、外部から渡された指摘を評価する $triage-finding、修正結果を確認する $verify-fix があります。skill 名を明示して呼び出せるため、作業の意図がログに残りやすいのが特徴です。
今回のスキャンでは、既知のセッション署名鍵、CSRF 対策の不足、弱いパスワード、SQL インジェクション、投稿者チェックの無効化などが確認対象になりました。
4.2 $fix-finding で再現テストと修正を行う
Codex の特徴がよく表れるのが $fix-finding です。この skill は、指摘を直す前に攻撃を再現するテストを書き、修正を行い、修正後にテストと既存テストを実行します。
$fix-finding 最新の Codex Security plugin のスキャンで見つかった指摘のうち、
/search の SQL インジェクションと、rename の投稿者チェックの無効化を修正してください。
修正後に既存のテストが通ることを確かめてください。
テストは .venv/bin/pytest で実行してください。
説明やレポートは日本語で記載してください。
ここでも、Codex が作業フォルダを書き換えたからといって、そのままコミットしてはいけません。ファイルごとの差分、追加された再現テスト、既存機能への影響を説明させ、攻撃確認用スクリプトを再実行し、テストが通ることを人間が確認してからコミットします。
Claude のパッチ提案が「候補を出して人が適用する」流れになりやすいのに対し、Codex の $fix-finding は再現テストと修正を一つの skill にまとめています。ただし、どちらの場合も最終的な採否とコミットの責任は人間にあります。
4.3 Juice Shop を Codex からレビューする
GitHub プライベートリポジトリへのアクセスを準備する
AWS Security Agent の章と同様に、ここでも対象リポジトリを限定した fine-grained PAT
を使います。Claude Code の説明と重複するため、PAT の作成画面と GitHub CLI の認証
手順は省略します。実際に作業するときは、リポジトリ、期限、Contents・Metadata・
Pull requests などの最小権限を確認してください。
Codex からも GitHub プライベートリポジトリを参照できることを確認します。PAT は
Codex のプロンプトへ貼り付けず、Git の認証設定に保存します。
リポジトリをローカルで実行して確認する
まず、検証対象のプライベートリポジトリ juice-shop-codex を clone し、依存関係とローカルアプリの起動状態
を確認します。
実際にアプリを起動して操作できることも確認します。
レビュー用ブランチを準備する
レビュー前に作業ツリーが clean であること、想定したコミットを
チェックアウトしていること、アプリが利用可能であることをそろえておくのがポイントです。
続いて origin/develop を基準に
codex/code-review ブランチを作成し、レビュー結果を基準ブランチから分離します。
$security-scan でセキュリティスキャンを開始
Codex Security plugin をこのコードベースに対して実行するためには、
まず Codex Security plugin を対象環境へインストールし、codex plugin list で
有効化されていることを確認します。skill の登録だけでなく、レポートの保存先と
workspace permissions も確認しておくと、後から「スキャンしたが成果物が見つからない」
という事態を避けられます。
作業手順は Flask の flaskr を対象としたハンズオン手順書と同じため、ここでは省略します。
スキャン開始時には、静的コードレビューのみを行い、攻撃コードを作成しないという
ポリシーを明示しています。
実は、プロンプトでこのような指定を行わないと、LLM の安全機能が働いてコードレビューのプロセスが途中で停止 する可能性があるからです。
今回は実験のためこのような制限をかけていますが、実務でより深い調査を行いたい場合には、
OpenAI に Trusted Access for Cyber(TAC)を申請 してください。
Codex Security plugin は Inventory、Threat model、
Research、Sweep、Panel の順に調査を進め、画面には各観点の進捗と未処理のタスクが
表示されます。長時間実行になるため、完了までプロセスを終了しないようにします。
$security-scan でセキュリティスキャンが完了
しばらく待つとスキャンが完了しました。
Claude Code に比べてかなり短い実行時間でした。
Trusted Access for Cyber(TAC)を申請して深い調査を行った場合は、さらに長時間かかると思われます。
$security-scan によるセキュリティスキャンのレポート確認
レポートを確認します。
レポートには、検証済みの指摘、根拠、影響、未調査範囲が記録されます。今回の例では、
認証前の無制限ファイル保存、公開チャット API の無制限な LLM 呼び出し、プロフィール
画像 URL の無制限な応答保存、通知再送による無制限なメモリ蓄積など、チャレンジ外の
問題を中心に 4 件が報告されました。
なお、これは意図的なチャレンジを除外した静的レビューの結果であり、Claude Security plugin や外部レポートの件数とは単純比較しません。
今回の Juice Shop のように意図的に脆弱性を含む教材アプリケーションをレビューするときは、検出結果をそのまま「製品の脆弱性件数」と数えないよう注意が必要です。
最初の PR の作成と適用
スキャン結果を元に、優先度の高い脆弱性から順番に、修正作業を行います。
修正後は再スキャンを行い、追加の指摘がないことを確認してから、レビュー用ブランチを
private repository へ push します。Codex は変更内容、テスト結果、最終スキャン結果を
PR 本文にまとめ、Draft PR として作成できます。最後の画面では、ベースとヘッド、
Draft 状態、CI の状態、作業ツリーが意図どおりかを確認しています。
PR を作成しました。
CI チェックはまだ登録されていません。 と出力されていたので、CI チェックも行なって登録 するよう対話的に指示することで AIが自動生成した PR を改良しました。
PAT権限不足のエラー が出ましたので、PATに権限を追加したのちに再施行するとうまくいきました。
GitHub 側でPRを確認し、「LLM as a Judge」の検証結果も、マージしても問題ないことがわかりました。
人間が内容を確認して判断したうえで、マージと後始末の実作業は AI に委任します。
次に優先度の高い修正の作成および適用という一連の作業の繰り返し
先ほど、最も優先すべき PR を1つ選んで、作成しマージしました。
実務では、この後、次の優先度の PR の作成しマージするという作業を繰り返して行なっていきます。
組織やプロジェクトのセキュリティ基準が満たされるまで繰り返します。
ただし、今回はコードレビューの一連のプロセスを検証することが目的なので、ここで終了します。
4.4 Codex と AWS Security Agent の結果を比較する
Claude Code で行ったのと同様に、AWS Security Agent によるレポート(外部レポート)と Codex Security plugin のレポート(自己レポート)を比較し、次回の診断に活かせる知見として整理します。対象コミット、検出条件、除外したチャレンジ、未確認事項をそろえます。件数の差だけで優劣を決めず、同じ問題を同じ根拠で追跡できるか、修正後に再現しなくなったかを確認します。
Codex と AWS Security Agent の比較で特に印象的だったのは、検出件数とレビュー品質は同じ指標ではない、ということです。
OWASP Juice Shop のように、意図的なハッキングチャレンジを多数含むアプリケーションでは、外部レポートが 50 件、自己レビューが 4 件という結果になることがあります。しかし、この数字だけで「外部レポートの方が優秀」とは言えません。
外部レポートは、SQL インジェクション、JWT 偽造、XSS、SSRF、所有権不備など、コード上の候補を広く追跡していました。その一方で、Juice Shop の SECURITY.md や challenges.yml に登録された意図的な脆弱性を、通常の製品脆弱性として数えていました。自己レビューは、チャレンジそのものを除外し、チャレンジ外の予期しない問題を報告対象にしたため、件数は少なくなりました。
比較結果では、外部レポートの候補発見力とコード追跡の広さは優れていました。一方、自己レビューは対象コミット、脅威モデル、除外基準、未確認事項を明示しており、保守者へ提出する報告書としての再現性と説明責任に優れていました。
さらに、両方のレポートを照合すると、/rest/memories の認証前・無制限アップロード問題が重複していました。外部レポートの件数をそのまま採用するのではなく、次の順番で再トリアージするのが適切です。
- 同じコミットまたは同じスナップショットを対象にする
- リポジトリ固有のセキュリティ方針と意図的チャレンジを確認する
- 意図された攻撃経路と、そこに付随する予期しない影響を分離する
- 静的に確定できない配備条件は
needs_reviewとして残す - 動的検証や AWS 環境での到達性確認を行い、最終的な優先順位を決める
この「広く候補を出す」と「対象の文脈に合わせて絞る」の組み合わせが、Codex と AWS Security Agent を併用するときの現実的な使い方です。
4.5 Codex Security plugin と AWS Security Agent の役割を整理する
AWS Security Agent との役割分担や連携においては、Claude Code と同様の役割を Codex が担えそうです。
例えば、以下のように連携できます。
AWS Security Agent
マネージドサービスとして自動でセキュリティチェックを実施
↓
Codex Security plugin
AWS Security Agent の結果を踏まえて、人間が対話的にセキュリティチェックを実施
↓
人間によるトリアージ
↓
AWS Security Agent
AWS 環境のコンテキストを使って、再度セキュリティチェックを実施
↓
修正・デプロイ・再テスト
AWS Security Agent の作業を Codex で引き継ぐ際には、
前述の Claude Code の検証時に行ったように、AWS Security Agent のレポートや PR の内容を Codex で分析させて、お互いに補完し合う使い方になると思います。
このプロセスは、前述の Claude Code の例と重複するため、ここでは省略します。
なお、実務では、Claude Code と Codex を両方とも同じように使うのは難しいと思われます。ほぼ代替可能なため、無理に両方使わず、どちらかを選んで使い、選んだ方のツールのノウハウを蓄積することが妥当です。
5. 3つのAIコードレビュー製品の特徴と使い分けの案
今回のハンズオンの実験を通じて、Claude Code + Claude Security plugin 、 Codex + Codex Security plugin 、 AWS Security Agent の特徴が体感できました。
3つを同じ土俵で比較するのではなく、レビュー工程のどこを担当するかで整理すると理解しやすくなります。
| 観点 | Claude Code + Claude Security plugin | Codex + Codex Security plugin | AWS Security Agent |
|---|---|---|---|
| 操作単位 | Claude Code のコマンド | Codex の skill | AWS 環境・セキュリティ検証のワークフロー |
| 発見方法 | マッピング、脅威モデル、複数リサーチャー、反証 | 独立監査、論点別の並列調査、親エージェントによる統合 | コード・構成・稼働環境を踏まえた検証 |
| 修正支援 | パッチ提案、説明、テスト確認 | 再現テスト、最小修正、修正後の検証 | 修正優先順位、証拠、再テスト |
| 得意なフェーズ | 設計・実装の深いレビュー | 差分レビューから修正までの反復 | リスクの実環境検証、ペネトレーションテスト |
| 注意点 | 非決定的で、スキャン範囲と effort にコストがかかる | skill の前提、実行環境、コスト上限の管理が必要 | 利用可能な AWS コンテキストとアクセス権の設計が必要 |
実務では、次のような多層構成が使いやすいでしょう。
1. GuardDuty / WAF / IAM / ネットワーク分離などの基本防御
2. Amazon Inspector / SCA で OS・依存関係・既知 CVE を棚卸し
3. Claude Security plugin または Codex Security plugin で実装とロジックを解析
4. 人間が脅威モデル、業務要件、到達性を確認してトリアージ
5. AWS Security Agent で悪用可能性と環境影響を検証
6. 修正、PR、CI/CD、デプロイ、再スキャン
比較検証を行う場合は、検出件数だけでなく、検出率、誤検知率、コード証拠、再現手順、修正パッチの品質、既存テストへの影響、実行時間、コスト、複数回実行時のばらつきを記録します。同じ既知脆弱性を含む検証環境を複数回スキャンし、結果を表にして初めて、モデルやハーネスの違いを比較できます。
5.1 AWS Security Agent と AIコーディングエージェントの棲み分け
AWS Security Agent と、Claude Security plugin や Codex Security plugin のようなフロンティア AI 搭載のコーディングエージェントは、どちらか一方を選ぶというより、得意な工程を分けて使うのが現実的です。
今回の実験では、AWS Security Agent がリポジトリを広く調査し、大量の指摘と修正 PR を作成しました。第 1 回だけで 76 件、3 回の実行では合計 214 件の PR が作成されています。ただし重複も多かったです。また、第 1 回の 76 件のうち、「LLM as a Judge」がそのままマージできると判断したものは 5 件でした。ベースブランチ(AWS Security Agentの設定を正しくすることで回避可能)の変更、テストの修正、RSN や型チェックへの対応、PR 同士の競合解消など、リポジトリ固有の事情に合わせる作業は、エディター側で行う必要がありました。
この結果から、AWS Security Agent は「広く候補を集める偵察役」として位置づけるのがよさそうです。AWS の構成や稼働環境を踏まえたコードレビュー、脅威モデリング、ペネトレーションテストを通じて、優先的に調べるべき問題を洗い出します。ただし、意図的に脆弱な教材アプリケーションでは、学習用チャレンジまで通常の脆弱性として検出することがあります。また、同じ問題に対する重複 PR や、アプリのビルドを壊す修正も含まれていました。検出件数だけで、品質や網羅性を判断してはいけません。
一方、コーディングエージェントは、リポジトリの文脈を読みながら、指摘の再トリアージ、再現、修正、テスト、差分確認を反復する役割に向いています。AWS から引き継いだ指摘をそのまま採用するのではなく、まず同じ問題を指している PR を統合し、意図的に残している脆弱性や対象外のコードを除外します。そのうえで、固定された依存バージョン、正しいベースブランチ、DCO や PR テンプレートなど、プロジェクト固有の前提を確認します。
実務での流れは、次のように整理できます。
-
AWS Security Agent で広く診断する
リポジトリ全体のコードレビューや、必要に応じた動的な検証を行い、脆弱性候補と修正案を集める。 -
コーディングエージェントで前処理とセカンドオピニオンを行う
重複をまとめ、対象外を除き、脅威モデルや実装の前提を確認する。必要なら Claude Security plugin または Codex Security plugin で診断をやり直す。 -
コーディングエージェントで修正と検証を行う
指摘ごとに作業用ブランチや worktree を分け、最小限の修正を行う。修正前に失敗し、修正後に成功する回帰テストを用意し、lint、型チェック、既存テスト、プロジェクト固有のチェックを実行する。 -
人間が承認してマージする
修正による API 応答やエラー処理、UI などの挙動変更を確認し、業務要件とリスクを踏まえて最終判断する。 -
AWS Security Agent で事後確認する
マージ後に再スキャンし、指摘が解消されたことと、新しい問題を持ち込んでいないことを確認する。
特に重要なのは、「CI が通った」だけでは完了にしないことです。今回も、CI 相当のチェックが通っていても、修正が実際に効いていることを示す回帰テストが不足していたため、レビューで差し戻しが発生しました。生成されたパッチは、どのツールのものであっても、確認済みの修正ではありません。修正前に失敗し、修正後に成功するテストがあり、GitHub 上の CI が実際に動いていることまでを、PR 提出の完了条件に含める必要があります。
したがって、AWS Security Agent は環境を含めてリスク候補を広く探す「偵察・検証レイヤー」、Claude Security plugin や Codex Security plugin はコードの文脈に沿って検証と修正を進める「開発レイヤー」、人間のレビュアーは業務影響と受け入れ可否を判断する「承認レイヤー」と考えると分かりやすくなります。探索、反証、修正、再テストを一つのループとして設計することで、単一の AI ツールに判断を任せるより、見落としと不要な修正の両方を抑えられます。
6. まとめ
今回の検証で分かったことは、AI コードレビューの価値は「脆弱性を何件見つけたか」だけでは測れない、ということです。
Claude Security plugin は、脅威モデルと発見役・検証役の分離によって、実装やロジックに潜む問題を深く調べる流れを作れます。Codex Security plugin は、skill としてスキャン・トリアージ・再現テスト・修正確認を組み合わせやすく、検出から修正までを反復しやすい構成です。AWS Security Agent は、AWS の構成や稼働環境を踏まえて、見つかった候補が実際に悪用できるか、どの問題から直すべきかを判断する役割を担います。
一方で、AI の結果はそのまま正解ではありません。意図的に脆弱な教材をレビューすれば、チャレンジを「脆弱性」として数えてしまうことがあります。反対に、対象を慎重に絞りすぎると、認証、情報漏えい、所有権のような重要領域を見落とすこともあります。対象コミット、脅威モデル、除外基準、未確認事項を記録し、必要に応じて動的検証と人間のペネトレーションテストを組み合わせることが重要です。
最初から全リポジトリを毎日フルスキャンする必要はありません。まずは重要なサービスや変更差分から始め、スキャンの深さ、回数、予算、レビュー担当者を決めます。AI に探索範囲を広げてもらい、人間が業務影響とリスクを判断し、必要なものを AWS 環境で検証して、修正・再テストまで開発サイクルへ組み込む。この役割分担が、現時点で最も現実的な使い方だと感じました。
AI は強力な援軍ですが、最後に「この指摘を本当に直すのか」「この修正で別の機能を壊していないか」を決めるのは人間です。探索、反証、検証、修正、再確認を一つのループとして設計することが、AI セキュリティ活用の出発点になります。
最後まで読んでいただき、ありがとうございました。












































































