0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIレビューの指摘にラベルを付けて、直した・直さなかったを数える

0
Posted at

はじめに

AIレビューの指摘を、直したのか、直さなかったのか。直さなかったなら、なぜか。これをPRごとに書き残す話を、Zennに書きました。

書き残すところまではできたのですが、PRの説明欄に箇条書きで書いていたので、あとから数えられませんでした。この記事では、指摘への返信に1行のラベルを書き、gh api で集計する方法をまとめます。

やることは、ラベルの決まりを1つと、Pythonのスクリプトを1本置くだけです。決まりの部分だけ読んで、チームのREADMEに貼ってもらってもかまいません。

この記事をざっくり図解

環境

  • macOS、Python 3.14.6(標準ライブラリのみ)
  • GitHub CLI 2.67.0(gh auth login 済み)
  • 動作確認日:2026-11-13

1. ラベルは4種類、状態は2つ

ラベル 意味 例
style 命名、書式、表記のゆれ 変数名が他のファイルと揃っていない
logic コードの書き方や構造 重複した処理、nullチェックの漏れ
rule 業務ルールが絡む判断 取引先ごとの締め日、承認の順番
false-positive 指摘そのものが誤り 存在するメソッドを「存在しない」と言われた

状態は fixed(直した)と wontfix(直さなかった)の2つです。

logic と rule を分けたのは、rule の指摘はコードだけ読んでも判断できないからです。ここに wontfix がたまっていくなら、AIに見えていない業務の前提がある、ということになります。

false-positive を wontfix と別にしたのは、意味が違うからです。logic wontfix は「指摘は正しいが、あえて直さない」、false-positive は「指摘が間違っている」です。混ぜると、AIの精度の話と、チームの判断の話が区別できなくなります。

2. PRでの付け方

GitHubのラベルはPRやIssueに付けるもので、レビューコメント1件ごとには付けられません。そこで、AIの指摘に返信する形で、1行だけ書くことにしました。

ai-review: style fixed
ai-review: logic wontfix 片方だけ仕様変更の予定があるため分けたまま
ai-review: rule wontfix 取引先ごとの締め日の例外(要件定義書 4.2)

決まりは次の4つです。

  • 書くのは、その指摘に対応した人
  • 行頭に ai-review: を置き、ラベル、状態の順に書く
  • wontfix には理由を1行で書く。理由のない wontfix は集計で「(理由なし)」と表示される
  • 同じスレッドに何度か書いたら、最後の1行を採用する(あとで判断が変わることがあるため)

Zenn版でも書きましたが、理由を残していなかったころは、同じ指摘が別のPRで出るたびに同じ説明をしていました。返信に書くと、指摘のすぐ下に理由が残るので、次にそのPRを開いた人にも見えます。この点は、説明欄にまとめていたときより良くなったと感じています。

3. gh api で数える

PRのレビューコメント(差分の行に付くコメント)は、REST APIの GET /repos/{owner}/{repo}/pulls/{pull_number}/comments で取れます。返信には in_reply_to_id が入り、スレッドの最初のコメントのIDを指します。これを使って、AIの指摘ごとに返信のラベルを拾います。

まず、AIレビューのアカウント名を確認してください。ツールによって xxx[bot] の形だったり、そうでなかったりします。私たちも最初は [bot] 付きだと思い込んでいて、1件も拾えませんでした。

gh api "repos/OWNER/REPO/pulls/123/comments" --jq '[.[].user.login] | unique'

スクリプトはこれです。

count_ai_review_labels.py
"""AIレビューの指摘への返信に付けたラベルを、gh api で集めて数える。"""
import argparse
import json
import re
import subprocess
from collections import Counter

LABELS = ["style", "logic", "rule", "false-positive"]
TAG = re.compile(
    r"^ai-review:\s*(?P<label>[\w-]+)\s+(?P<status>fixed|wontfix)\b\s*(?P<reason>.*)$",
    re.MULTILINE,
)


def gh(*args: str):
    out = subprocess.run(["gh", *args], check=True, capture_output=True, text=True).stdout
    return json.loads(out)


def merged_prs(repo: str, since: str, limit: int) -> list[int]:
    prs = gh("pr", "list", "--repo", repo, "--state", "merged",
             "--search", f"merged:>={since}", "--limit", str(limit), "--json", "number")
    return [p["number"] for p in prs]


def review_comments(repo: str, number: int) -> list[dict]:
    pages = gh("api", "--paginate", "--slurp", f"repos/{repo}/pulls/{number}/comments?per_page=100")
    return [c for page in pages for c in page]


def main() -> None:
    p = argparse.ArgumentParser()
    p.add_argument("repo", help="owner/name")
    p.add_argument("--ai-login", action="append", required=True, help="AIレビューのアカウント名")
    p.add_argument("--since", required=True, help="YYYY-MM-DD 以降にマージされたPR")
    p.add_argument("--limit", type=int, default=100)
    args = p.parse_args()

    counts: Counter = Counter()
    untagged, warnings, wontfix = [], [], []
    for number in merged_prs(args.repo, args.since, args.limit):
        comments = review_comments(args.repo, number)
        ai = {c["id"]: c for c in comments
              if c["user"]["login"] in args.ai_login and not c.get("in_reply_to_id")}
        tags = {}
        for c in comments:
            parent = c.get("in_reply_to_id")
            if parent in ai:
                for m in TAG.finditer(c["body"]):
                    tags[parent] = m  # スレッド内で最後に付けたラベルを採用
        for cid, c in ai.items():
            m = tags.get(cid)
            if m is None:
                untagged.append(f"#{number} {c['html_url']}")
                continue
            label, status = m["label"], m["status"]
            if label not in LABELS:
                warnings.append(f"#{number} 未定義のラベル: {label}")
                continue
            if label == "false-positive" and status == "fixed":
                warnings.append(f"#{number} 誤検知なのに fixed: {c['html_url']}")
            counts[(label, status)] += 1
            if status == "wontfix":
                wontfix.append(f"#{number} [{label}] {m['reason'].strip() or '(理由なし)'}")

    print(f"{'label':<16}{'fixed':>7}{'wontfix':>9}")
    for label in LABELS:
        print(f"{label:<16}{counts[(label, 'fixed')]:>7}{counts[(label, 'wontfix')]:>9}")
    print(f"\n未分類: {len(untagged)}件")
    for u in untagged:
        print(f"  {u}")
    if wontfix:
        print("\n直さなかった理由:")
        for w in wontfix:
            print(f"  {w}")
    for w in warnings:
        print(f"[warn] {w}")


if __name__ == "__main__":
    main()

実行例です。PR 2件、AIの指摘6件の架空のデータで動かしました。

python3 count_ai_review_labels.py example/app --ai-login "ai-reviewer[bot]" --since 2027-01-01
label             fixed  wontfix
style                 1        0
logic                 1        1
rule                  0        1
false-positive        0        1

未分類: 1件
  #15 https://github.com/example/app/pull/15#discussion_r204

直さなかった理由:
  #12 [logic] 片方だけ仕様変更の予定があるため分けたまま
  #12 [rule] 取引先ごとの締め日の例外(要件定義書 4.2)
  #15 [false-positive] 社内ライブラリの拡張メソッド

ポイントは次のとおりです。

  • 対象は --since 以降にマージされたPRです。gh pr list --search "merged:>=..." で絞っています
  • --slurp を付けると、--paginate で取った複数ページが配列の配列になります。100件を超えるコメントがあるPRでも取りこぼしません
  • ラベルのない指摘は「未分類」としてURL付きで出します。付け忘れを拾うためです
  • --ai-login は複数指定できます。AIレビューを2種類使っている場合に使います

定義にないラベル(たとえば perf)や、false-positive fixed のような矛盾した組み合わせは、[warn] で表示します。

4. 数えたあとに見るところ

割合はまだ出していません。比べられるほど記録がたまっていないからです。数字より先に、次の4つを見ています。

未分類の件数。 ここが多いなら、まず運用が回っていません。決まりを見直すか、レビューのときに一言声をかけるところからです。

rule の wontfix の理由。 業務の前提がコードの外にある、という印です。理由に「要件定義書 4.2」のような参照が書けないなら、その前提はまだ文書になっていません。要件定義書に書き足す候補として扱っています。

false-positive が多いところ。 同じ種類の誤検知が続くなら、AIレビューの設定や、渡しているコンテキストを見直します。

logic の wontfix。 判断が分かれやすいところです。理由を並べて読むと、チームの暗黙のルールが見えてくることがあります。

限界

  • 取得しているのは差分の行に付くコメントだけです。PR全体への要約コメントや、Conversationタブのコメントは対象外です。AIレビューが要約だけを書くツールなら、この方法では数えられません
  • ラベルは人が書くので、付け忘れも、付け方の揺れも起きます。logic と rule の境目は特に迷います
  • PR 1件ごとにAPIを呼ぶので、--limit を大きくすると時間がかかります。公開リポジトリのマージ済みPR 40件で試したときは、30秒ほどかかりました
  • GitHub Enterprise Server では試していません

最後に

返信に1行書く決まりと、スクリプト1本で始められます。最初の1か月は割合を気にせず、未分類が減るかどうかだけ見てみてください。

参考文献

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?