はじめに
AIレビューの指摘を、直したのか、直さなかったのか。直さなかったなら、なぜか。これをPRごとに書き残す話を、Zennに書きました。
書き残すところまではできたのですが、PRの説明欄に箇条書きで書いていたので、あとから数えられませんでした。この記事では、指摘への返信に1行のラベルを書き、gh api で集計する方法をまとめます。
やることは、ラベルの決まりを1つと、Pythonのスクリプトを1本置くだけです。決まりの部分だけ読んで、チームのREADMEに貼ってもらってもかまいません。
この記事をざっくり図解
環境
- macOS、Python 3.14.6(標準ライブラリのみ)
- GitHub CLI 2.67.0(
gh auth login済み) - 動作確認日:2026-11-13
1. ラベルは4種類、状態は2つ
| ラベル | 意味 | 例 |
|---|---|---|
style |
命名、書式、表記のゆれ | 変数名が他のファイルと揃っていない |
logic |
コードの書き方や構造 | 重複した処理、nullチェックの漏れ |
rule |
業務ルールが絡む判断 | 取引先ごとの締め日、承認の順番 |
false-positive |
指摘そのものが誤り | 存在するメソッドを「存在しない」と言われた |
状態は fixed(直した)と wontfix(直さなかった)の2つです。
logic と rule を分けたのは、rule の指摘はコードだけ読んでも判断できないからです。ここに wontfix がたまっていくなら、AIに見えていない業務の前提がある、ということになります。
false-positive を wontfix と別にしたのは、意味が違うからです。logic wontfix は「指摘は正しいが、あえて直さない」、false-positive は「指摘が間違っている」です。混ぜると、AIの精度の話と、チームの判断の話が区別できなくなります。
2. PRでの付け方
GitHubのラベルはPRやIssueに付けるもので、レビューコメント1件ごとには付けられません。そこで、AIの指摘に返信する形で、1行だけ書くことにしました。
ai-review: style fixed
ai-review: logic wontfix 片方だけ仕様変更の予定があるため分けたまま
ai-review: rule wontfix 取引先ごとの締め日の例外(要件定義書 4.2)
決まりは次の4つです。
- 書くのは、その指摘に対応した人
- 行頭に
ai-review:を置き、ラベル、状態の順に書く -
wontfixには理由を1行で書く。理由のないwontfixは集計で「(理由なし)」と表示される - 同じスレッドに何度か書いたら、最後の1行を採用する(あとで判断が変わることがあるため)
Zenn版でも書きましたが、理由を残していなかったころは、同じ指摘が別のPRで出るたびに同じ説明をしていました。返信に書くと、指摘のすぐ下に理由が残るので、次にそのPRを開いた人にも見えます。この点は、説明欄にまとめていたときより良くなったと感じています。
3. gh api で数える
PRのレビューコメント(差分の行に付くコメント)は、REST APIの GET /repos/{owner}/{repo}/pulls/{pull_number}/comments で取れます。返信には in_reply_to_id が入り、スレッドの最初のコメントのIDを指します。これを使って、AIの指摘ごとに返信のラベルを拾います。
まず、AIレビューのアカウント名を確認してください。ツールによって xxx[bot] の形だったり、そうでなかったりします。私たちも最初は [bot] 付きだと思い込んでいて、1件も拾えませんでした。
gh api "repos/OWNER/REPO/pulls/123/comments" --jq '[.[].user.login] | unique'
スクリプトはこれです。
"""AIレビューの指摘への返信に付けたラベルを、gh api で集めて数える。"""
import argparse
import json
import re
import subprocess
from collections import Counter
LABELS = ["style", "logic", "rule", "false-positive"]
TAG = re.compile(
r"^ai-review:\s*(?P<label>[\w-]+)\s+(?P<status>fixed|wontfix)\b\s*(?P<reason>.*)$",
re.MULTILINE,
)
def gh(*args: str):
out = subprocess.run(["gh", *args], check=True, capture_output=True, text=True).stdout
return json.loads(out)
def merged_prs(repo: str, since: str, limit: int) -> list[int]:
prs = gh("pr", "list", "--repo", repo, "--state", "merged",
"--search", f"merged:>={since}", "--limit", str(limit), "--json", "number")
return [p["number"] for p in prs]
def review_comments(repo: str, number: int) -> list[dict]:
pages = gh("api", "--paginate", "--slurp", f"repos/{repo}/pulls/{number}/comments?per_page=100")
return [c for page in pages for c in page]
def main() -> None:
p = argparse.ArgumentParser()
p.add_argument("repo", help="owner/name")
p.add_argument("--ai-login", action="append", required=True, help="AIレビューのアカウント名")
p.add_argument("--since", required=True, help="YYYY-MM-DD 以降にマージされたPR")
p.add_argument("--limit", type=int, default=100)
args = p.parse_args()
counts: Counter = Counter()
untagged, warnings, wontfix = [], [], []
for number in merged_prs(args.repo, args.since, args.limit):
comments = review_comments(args.repo, number)
ai = {c["id"]: c for c in comments
if c["user"]["login"] in args.ai_login and not c.get("in_reply_to_id")}
tags = {}
for c in comments:
parent = c.get("in_reply_to_id")
if parent in ai:
for m in TAG.finditer(c["body"]):
tags[parent] = m # スレッド内で最後に付けたラベルを採用
for cid, c in ai.items():
m = tags.get(cid)
if m is None:
untagged.append(f"#{number} {c['html_url']}")
continue
label, status = m["label"], m["status"]
if label not in LABELS:
warnings.append(f"#{number} 未定義のラベル: {label}")
continue
if label == "false-positive" and status == "fixed":
warnings.append(f"#{number} 誤検知なのに fixed: {c['html_url']}")
counts[(label, status)] += 1
if status == "wontfix":
wontfix.append(f"#{number} [{label}] {m['reason'].strip() or '(理由なし)'}")
print(f"{'label':<16}{'fixed':>7}{'wontfix':>9}")
for label in LABELS:
print(f"{label:<16}{counts[(label, 'fixed')]:>7}{counts[(label, 'wontfix')]:>9}")
print(f"\n未分類: {len(untagged)}件")
for u in untagged:
print(f" {u}")
if wontfix:
print("\n直さなかった理由:")
for w in wontfix:
print(f" {w}")
for w in warnings:
print(f"[warn] {w}")
if __name__ == "__main__":
main()
実行例です。PR 2件、AIの指摘6件の架空のデータで動かしました。
python3 count_ai_review_labels.py example/app --ai-login "ai-reviewer[bot]" --since 2027-01-01
label fixed wontfix
style 1 0
logic 1 1
rule 0 1
false-positive 0 1
未分類: 1件
#15 https://github.com/example/app/pull/15#discussion_r204
直さなかった理由:
#12 [logic] 片方だけ仕様変更の予定があるため分けたまま
#12 [rule] 取引先ごとの締め日の例外(要件定義書 4.2)
#15 [false-positive] 社内ライブラリの拡張メソッド
ポイントは次のとおりです。
- 対象は
--since以降にマージされたPRです。gh pr list --search "merged:>=..."で絞っています -
--slurpを付けると、--paginateで取った複数ページが配列の配列になります。100件を超えるコメントがあるPRでも取りこぼしません - ラベルのない指摘は「未分類」としてURL付きで出します。付け忘れを拾うためです
-
--ai-loginは複数指定できます。AIレビューを2種類使っている場合に使います
定義にないラベル(たとえば perf)や、false-positive fixed のような矛盾した組み合わせは、[warn] で表示します。
4. 数えたあとに見るところ
割合はまだ出していません。比べられるほど記録がたまっていないからです。数字より先に、次の4つを見ています。
未分類の件数。 ここが多いなら、まず運用が回っていません。決まりを見直すか、レビューのときに一言声をかけるところからです。
rule の wontfix の理由。 業務の前提がコードの外にある、という印です。理由に「要件定義書 4.2」のような参照が書けないなら、その前提はまだ文書になっていません。要件定義書に書き足す候補として扱っています。
false-positive が多いところ。 同じ種類の誤検知が続くなら、AIレビューの設定や、渡しているコンテキストを見直します。
logic の wontfix。 判断が分かれやすいところです。理由を並べて読むと、チームの暗黙のルールが見えてくることがあります。
限界
- 取得しているのは差分の行に付くコメントだけです。PR全体への要約コメントや、Conversationタブのコメントは対象外です。AIレビューが要約だけを書くツールなら、この方法では数えられません
- ラベルは人が書くので、付け忘れも、付け方の揺れも起きます。
logicとruleの境目は特に迷います - PR 1件ごとにAPIを呼ぶので、
--limitを大きくすると時間がかかります。公開リポジトリのマージ済みPR 40件で試したときは、30秒ほどかかりました - GitHub Enterprise Server では試していません
最後に
返信に1行書く決まりと、スクリプト1本で始められます。最初の1か月は割合を気にせず、未分類が減るかどうかだけ見てみてください。