0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

CodeMenderとMantisは使うほど学習するのか 再実行と検出漏れの考え方

0
Last updated at Posted at 2026-10-05

CodeMenderとMantisは使うほど学習するのか 再実行と検出漏れの考え方のアイキャッチ

はじめに

AIでコードの脆弱性を調べるとき、次のような疑問が出てきます。

  • 使えば使うほど、そのプロジェクトに詳しくなるのか。
  • たくさんのプロジェクトで使った方が、AIが賢くなるのか。
  • 同じコードを何回も調べれば、見逃しはなくなるのか。
  • 前回あった指摘が今回は出なかったら、修正済みと判断してよいのか。

結論からいうと、 「AIモデルの学習」「知識の保存」「検査の再実行」は別の話 です。実行回数や利用プロジェクト数だけを増やしても、安全を保証できません。

この記事ではGoogleのCodeMenderと、OSSの google/mantis を例に、仕組みと運用上の考え方を整理します。

前提と確認範囲

情報の確認日は 2026年10月1日 です。CodeMenderは限定顧客向けPublic Previewで、公式文書上は限定的なテスト・評価用途に限られ、商用・本番用途には利用できません。Mantisも公式READMEではデモ目的で、本番環境向けではないとされています。

本記事は公式資料とMantisの公開ソースを調べた解説です。CodeMenderの実スキャンや、MantisのAI実行による精度測定はしていません。後半の回数・評価表・業務例は、実験結果ではなく筆者の提案・架空例です。

出典:CodeMender公式概要、Mantis公式README・確認した固定版。

シリーズは、入門編、CI実装編、学習・再実行編(本記事)の3本です。本記事だけでも読めるように、用語から説明します。

1. 「学習」を4つに分ける

例えば、新しい担当者が社内システムを調べる場面を考えます。

その人自身が勉強して知識を増やすこと、その場で資料を読むこと、調査メモを保存すること、再発を防ぐテストを追加することは、それぞれ別の活動です。AIでも同じように分けると理解しやすくなります。

層 何が変わるか イメージ
モデルの学習 AI内部の数値パラメータである「重み」を更新する 担当者自身の知識や判断の仕方を変える
実行中の文脈 今回読むコード、指示、ツールの結果などが増える 今の調査で資料を読み進める
永続的な知識の保存・参照 調査履歴や要約などを保存し、次の調査に読み込む 引き継ぎノートを残して、必要なときに読む
開発工程の改善 人が確認したルールや回帰テストを追加する 次回から使うチェック項目を増やす

これは理解を助けるための筆者による分類です。後ろの3つが起きても、必ずしもモデルの重みが更新されたわけではありません。

「前のことを知っているような回答が出た」だけでは、追加学習が行われた証拠にはなりません。 保存済みのメモを読み込んでいるだけでも、同じように見えるためです。

2. CodeMenderは顧客のコードで基盤モデルを追加学習するのか

公式の説明は「モデルの重みの学習には使わない」

CodeMenderの 公式概要 には、顧客のソースコードを基盤モデルの重みの学習に使用しないと明記されています。

したがって、次のようには説明できません。

自社のコードを100回スキャンすると、自社専用のCodeMenderモデルに育つ。

今回確認した公開資料では、実行回数に応じて顧客専用モデルを自動で追加学習する仕組みは確認できませんでした。

出典:CodeMenderのデータ取り扱い。この説明はCodeMenderの顧客コードに関するものです。別のサービスや任意のAI実行環境の利用規約まで同じとは限りません。

状態が残ることと、モデルの学習は違う

CodeMenderは、コードの必要な断片やツール実行結果などをクラウド側へ送り、そこで推論を行います。実行中のセッション情報は再開のため最大7日間保持されると説明されています。

また、CLI側には、検査・検証・修正の試行を記録するローカルのSQLiteデータベース state.db があります。

これは、それぞれ クラウドのセッション保持 と ローカルの作業状態の保存 です。モデルの重みの更新とは別です。

出典:データ保持と推論の説明、ローカル状態とセッション管理。

保存されるもの 主な目的 そのまま意味しないこと
実行中のコード断片・ツール結果 今の問題を調査する 顧客専用モデルの追加学習
クラウドのセッション 中断した処理を再開する 永久に使える知識ベース
ローカルの指摘・修正履歴 状態や調査経緯を追う 他プロジェクトへ自動で学習内容を共有する機能

cm session resume SESSION_ID は、途中の処理をチェックポイントから再開するコマンドです。同じコミットで独立した新しい実験を1回追加したことにはなりません。

「学習しない」は「外へ送らない」ではない

モデル学習に使用しない場合でも、推論に必要なデータはクラウドへ送られます。コード断片、実行結果、指摘やパッチなどには機密情報が含まれ得ます。

CLIの匿名テレメトリを止める CM_TELEMETRY_OPT_OUT=1 も、CodeMenderのAI処理に必要な送信を止める設定ではありません。

出典:CLIの実行モデルとテレメトリ。契約、送信可能なコード、アクセス権、ログ保管は別々に確認してください。

3. Mantisの「学びを残す」は何をしているのか

MantisはAIモデルそのものではなく、セキュリティ調査のためのスキル群と参考実装です。

確認した版には、調査の実行履歴を振り返る mantis-reflect と、保存された知識を調べる mantis-advise があります。調査時に置いた仮説、成功・失敗した手順、見落とした前提などを、次の調査の材料にできます。

出典:mantis-reflect、mantis-advise。

保存したメモを、次の入力として参照する

ADK参考実装の record_learning は、学びの分類、内容、タグ、実行IDをSQLiteへ保存しています。advise.py は knowledge.db から脅威モデル、検証済みパッチ、誤検知として扱った履歴などを検索します。

ここで行われているのは、主に 外部の記憶を残して、後の調査で参照する処理 です。record_learning という名前だからといって、モデルの重みを更新する訓練処理ではありません。

出典:記録ツールの実装、SQLiteへの記録処理、助言を取得するCLI。

なお、汎用のスキル文書には workspace/learnings.jsonl に残す説明もあります。スキルの指示とADK参考実装では保存方法が異なるため、「Mantisを入れれば、必ず同じ場所へすべて保存される」とは考えないでください。使う実装と版の確認が必要です。

図はMantisの機能を踏まえ、筆者が人の確認を加えた運用例です。実装内の全処理を表した図ではありません。

保存するだけでは改善しない

知識を保存しても、次の実行が別のDBを読んでいたり、必要な記録を検索できなかったりすれば、活用されません。

逆に、誤った仮説を「正しい知識」として残すと、その後の検査を悪化させる可能性があります。特に「この指摘は誤検知」という記録を使い回すときは、その判断がどのコード・前提に対して成立したかが重要です。

以下のような記録を人が管理すると、確認しやすくなります。これはMantisの正式な入力スキーマではなく、運用メモの例です。

人が確認した知識の記録例
project: sample-orders
reviewed_commit: "実際に確認したコミットSHA"
scope: "一般利用者向けの注文参照API"
fact: "注文参照には利用者IDと所有者IDの照合が必要"
evidence: "回帰テストのパスとレビュー記録"
reviewer: "確認した担当者"
review_again_when: "認証方式・権限モデル・API経路が変わったとき"

AIが生成したメモ自体を無条件に信用せず、根拠、確認者、適用先、再確認条件を残します。

4. いろいろなプロジェクトへ導入すればよいのか

プロジェクトを増やす意味は「学習量」より「評価の幅」

CodeMenderについて、「プロジェクト数を増やせば自社向けモデルが学習する」という根拠はありません。Mantisでも、別々のDBへ保存した内容が、自動的に他案件へ共有されると決めつけないでください。

複数プロジェクトで評価する意味は、例えば次のような 条件の違いを確かめること です。

  • PythonとTypeScriptなど、言語やフレームワークが違う。
  • 小規模なAPIと、複数サービスが連携するシステムで構成が違う。
  • 所有者確認、テナント分離、管理者権限など、守るべき境界が違う。
  • ビルド・テストの準備状況が違う。

いきなり案件数を増やすより、まず1つの小さな評価対象で「何を検査し、何を見逃し、いくらかかるか」を測り、その後に異なる特徴の対象を追加する方が比較しやすくなります。これは筆者の評価手順の提案です。

他案件の知識は、分離が先

顧客Aと顧客Bのコード、脆弱性、認証情報、設計を同じ知識DBへ入れてよいとは限りません。最低でも、所有者・顧客・リポジトリ・参照権限を分けて管理します。

一般化した改善点を共有する場合も、まず顧客固有のコードや識別情報を取り除き、共有の許可と技術的な根拠を確認します。

例えば、次の2つは違います。

  • 共有しやすい原則:「利用者が指定したIDだけでデータを返さず、所有者を確認する」
  • 無条件に共有できない情報:「顧客Aの非公開APIのパス、内部ID、脆弱なコード、再現手順」

利用数を増やすことより、知識の適用範囲と情報の境界を管理することが先 です。

5. なぜ毎回同じ指摘が出るとは限らないのか

CodeMenderやMantisのようなAIエージェントは、コードを読み、仮説を立て、道具を使いながら調査を進めます。毎回、同じ探索経路を通ると仮定すべきではありません。

ただし、結果が違う理由をすべて「AIだからランダム」で片付けるのも誤りです。まず、次の条件を確認します。

確認する条件 結果が変わる例
対象コミットとファイル 比較したつもりが別の版だった
拡張子・除外設定・対象範囲 設定ファイルや周辺の認証処理が対象外だった
調査時に読めた情報 呼び出し元や脅威モデルが不足していた
実行環境 依存パッケージ不足、sandbox制約、テスト失敗があった
認証・時間・予算 期限切れや上限到達で途中終了していた
モデル・CLI・設定 前回から更新されていた
履歴とキャッシュ 再開や過去の判定を利用し、独立した新規実行ではなかった

ここは公式の精度測定結果ではなく、比較実験で管理すべき要因の整理です。CodeMenderの対象拡張子、除外、sandbox、セッション状態は、それぞれ公式資料で確認できます。

出典:CLI設定、セッション状態。

「検出0件」は4通り以上ある

指摘の数だけでは、検査が成功したか分かりません。

状態 意味 扱い
想定範囲を検査し終え、指摘なし 今回の条件では候補が出なかった 安全の証明にはしない
対象ファイルを読めなかった 検査範囲が不足している 未検査として残す
中断・エラー・時間切れ 最後まで処理できていない 未完了として残す
指摘は出たが再現できなかった 真偽がまだ決まっていない場合がある 不確実性と理由を記録する
前回の指摘が今回は出なかった 今回の検出結果が違う 修正済みにしない

特に最後が重要です。 一度確認した脆弱性は、再実行で出なくなっただけでは閉じません。 コードがどう変わり、再現テストがどう変わったかで判断します。

6. 実行回数はどう決めるか

「何回やれば安全」という回数はない

今回確認したCodeMenderとMantisの資料では、何回の実行で網羅できるかという保証は確認できませんでした。

「1回の検出確率が一定で、各回が完全に独立」と仮定すれば、繰り返す効果を計算できます。しかし実際には、同じモデル、同じ前提不足、同じ未検査領域によって、同じ問題を繰り返し見逃す可能性があります。

したがって、単純な確率計算で「10回やったから99%安全」と言ってはいけません。多数決で、出現回数の少ない指摘を誤検知扱いするのも危険です。

回数を増やすより、目的を分ける

筆者なら、次のように分けます。

  1. 動作確認:小さい範囲で1回実行し、接続、対象ファイル、ログ、停止方法を確認する。
  2. ばらつきの観察:同じコミットと条件を固定し、例えば3回だけ比較する。3回は試行例であり、十分な精度を保証する回数ではない。
  3. 不足の改善:不足していた周辺コード、脅威モデル、テストや依存関係を整え、別条件の実験として比較する。
  4. 変更後の確認:認証・認可、入力処理、依存関係など、リスクのある変更に合わせて対象を調べる。
  5. 打ち切り:新しい検証済み指摘が増えず、同じ不確実な指摘や同じ環境エラーが続くなら、回数を増やす前に原因を直す。

同じ条件を変えずに「問題なしが出るまで回す」のは、品質確認ではありません。都合のよい結果だけを選ぶことになるため、失敗や過去の指摘も含めて記録します。

7. 精度をどう測るか

最初は「答えが分かっている小さな問題」で測る

未知の業務コードで「10件見つかった」だけでは、10件すべて正しいのか、何件見逃したのか分かりません。

隔離された評価環境で、既知の問題を含む版と修正済みの版を用意し、期待する結果を先に決めます。問題を含む教材を本番へ持ち込まないでください。

比較するときは、少なくとも次を記録します。

  • 対象のコミット、ファイル範囲、設定、CLIの版またはハッシュ、モデル設定。
  • セッションが完了したか。読めなかったファイルや失敗したテストはないか。
  • 重複を除いた指摘、検証結果、見逃した既知の問題。
  • 実行時間、トークン消費、費用。

CodeMenderについては、確認時点で言語別の正式な性能評価はまだ公開していないとの説明があります。対応拡張子の一覧を、その言語での検出精度の保証として扱わないでください。

出典:CodeMenderの評価・対応言語に関する説明。

見つかった数だけを目標にしない

用語を最低限整理します。

指標 見ること 注意点
適合率(precision) 指摘した候補のうち、確認の結果、本当に問題だった割合 未判定の候補を勝手に誤検知や正解へ分類しない
再現率(recall) 存在する問題のうち、見つけられた割合 全問題が分かる評価用データでないと測りにくい
実行完了率 想定した範囲を最後まで調べられた実行の割合 指摘0件の数とは別
追加の有効指摘 再実行で新たに確認できた、重複しない問題の数 同じ問題の言い換えを増加に数えない
確認コスト 1件の検証済み問題を得るまでの時間・費用・人の工数 AIの費用だけでなくレビューも含める

例えば、既知の問題が10個ある教材で、AIの指摘8件をすべて判定した結果、6件が正しく2件が誤検知なら、適合率は 6 / 8 = 75%、再現率は 6 / 10 = 60% です。これは計算方法を示す架空例であり、CodeMenderやMantisの測定値ではありません。

未知の本番コードで「再現率100%」と主張することはできません。全問題を把握していないからです。また、同じ教材を何度も調整に使ったなら、最終評価には未使用の問題も分けておきます。

比較記録の例

架空の実験記録
対象コミット: 同じSHAに固定
モデル・CLI・設定・対象範囲: 同一

1回目: 完了。問題Aを確認、問題Bを見逃し
2回目: 時間切れ。未完了として記録
3回目: 完了。問題Aと問題Bを確認

判断:
  問題Aは2回出たから正しいのではなく、再現で確認した。
  問題Bは1回しか出ていなくても、再現できれば対応対象。
  2回目を「問題0件」として平均しない。

複数回の結果を合わせた到達範囲と、1回あたりの安定性は別の指標です。3回分を合わせて見つかったことを、1回で必ず見つかるように紹介しないでください。

8. 状態のラベルだけで判断しない

CodeMenderのレポートには OPEN、FIXED、DISMISSED、REOPENED などの状態があります。

公式の説明では、DISMISSED には誤検知や修正済みだけでなく、十分な確信が得られなかったケースなども含まれます。したがって、すべてを「問題ではないと証明済み」と読んではいけません。

また、FIXED でも、どのコード版へパッチが適用され、どのテストが実行されたかを確認します。中断した実行なら、状態のラベルと実際の差分・テスト結果が一致するかを特に慎重に見ます。

出典:指摘の状態とレポート、修正時の検証。

重大度で絞る場合も、「HIGHだけを表示したらCRITICALを落としていないか」「OPENだけを見てREOPENEDを除外していないか」を確認します。フィルターの表示と、未解決の問題全体は同じとは限りません。

9. AIの発見を、再発防止へつなぐ

AIが見つけた問題をチームに残すなら、会話ログだけでなく、可能なものを 回帰テスト にします。回帰テストとは、直した問題が再び起きていないかを確認するテストです。

注文APIなら、次のような期待結果を人が定めます。

  • 所有者は自分の注文を取得できる。
  • 他の利用者の注文は取得できない。
  • 別のテナントに属する注文は取得できない。
  • 管理者例外があるなら、その条件が仕様どおりである。

修正前に問題を再現でき、修正後には防げることを確かめ、そのテストを通常のCIへ追加します。既存テストがすべて成功したというだけでは、問題を確かめるテストが存在したか分かりません。

ただし、テストも網羅的な安全保証ではありません。静的解析、依存関係検査、秘密情報検査、人の設計レビューなどを組み合わせます。

AIに何回聞いたかではなく、確認した問題をどれだけ検証可能な形で開発工程へ残せたか を改善の目標にすると、回数を増やすだけの運用を避けられます。

おわりに

  • CodeMenderの利用回数やプロジェクト数を増やしても、自社用モデルが追加学習されるとはいえません。
  • Mantisには知見を保存・参照する仕組みがありますが、モデルの重みの学習とは別です。
  • 複数プロジェクトは評価の幅を広げるために使い、案件の知識・権限・機密情報は分離します。
  • 同じコードの再実行はばらつきの観察には役立ちますが、見逃しゼロを保証しません。
  • 一度確認した問題は、再実行で出なくなっただけでは閉じず、修正と回帰テストで確認します。

最初は 1つの小さな評価対象で条件を記録し、見つかった問題と見逃した問題を確かめる ところから始めるのがおすすめです。

Wealthy Designでは、Webシステム開発、クラウド活用、AIを使った業務改善に取り組んでいます。会社の取り組みは、会社サイトにまとめています。

AWS・Web開発・AI活用のご相談や、採用・カジュアル面談については、Wealthy Design公式LINEでもお問い合わせいただけます。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?