きっかけは、前に作った採用率レポートの数字が、期間も数え方もバラバラで、どのスキルが良いのか判断できなかったことです。PRレビューを任せるスキルを、半年で3つ作りました。今回、3つのスキルが出した指摘を全部集めて、1つの物差しで数え直しました。結果の共有です。
- 数えたのは、2026年4月から11月13日までの指摘1,306件
- 一番直されていたのは、一番シンプルな review-pr で68.9%。観点を並列で増やした deep-review は59.2%
- 指摘ミスの割合は、3つとも約1割で差がなかった
作った3つのスキル
前提だけ短く書きます。対象は、モバイルアプリとバックエンドの2つのリポジトリのPRです。
- review-pr:PRの行ごとに指摘を出す、基本の1本
- deep-review:観点ごとにサブエージェントを並列で走らせる、凝った版。観点は11から14まで増えた
- nitpick-pr:細かい指摘専用
数え方
定義は最初に固定して、途中で変えていません。
- 「直された」は、指摘を受けて実際にコードが変更されたもの。返信の内容と、その後のコミットで判定した
- 数えた範囲は、マージ済みで、PRの作成者が指摘に返信しているPR。全期間の指摘1,691件のうち1,306件が対象で、未マージの271件、作成者が返信していない112件、botのPRの2件は外した
- 指摘した人とPRの作成者は区別していない。自分のPRへの指摘も混ざっている
- 以前に作った採用率レポートとは物差しが違うので、そことは比べていない
- 指摘の36%は、どのスキルが出したか判別できなかった。スキル別の数字には、その留保がつく
結果
| スキル | 指摘 | PR1本あたり | 直された | 直された割合 | 指摘ミスの割合 |
|---|---|---|---|---|---|
| review-pr | 354 | 4.4 | 244 | 68.9% | 9.6% |
| nitpick-pr | 114 | 2.8 | 76 | 66.7% | 9.6% |
| deep-review | 368 | 7.8 | 218 | 59.2% | 9.8% |
| 全体(判別不能を含む) | 1,306 | 9.7 | 789 | 60.4% | 11.2% |
一番凝った deep-review が、一番直されていませんでした。指摘ミスの割合は3つとも約1割で、精度に差はありません。
この結果は、体感と一致していました。普段のレビューでも、review-pr が一番いい指摘をしてくる印象があったからです。意外だったのは順位ではなく、体感の裏付けが取れたことでした。
直されなかった理由
直されなかった指摘を理由で分けると、差が出たのはここでした。
- deep-review は、「指摘は正しいが低優先度」と「このPRの範囲外」を合わせて17.4%
- review-pr は同じ合計が6.2%
- nitpick-pr は16.7%
deep-review は、1PRあたりの指摘が review-pr の約1.8倍あります。正しい指摘でも、そのPRでは直されないものが多かった、という結果です。
月別で見ると、8月に review-pr の指摘ミスが増えた月がありました。この話は具体例の節にまとめます。
具体例:8月に集中した指摘ミス
8月の review-pr の指摘ミス15件のうち、8件が2本のPRに集中していました。
1つ目は、モバイル側のPRで5件。うち3件は、古いコミットを参照して、すでに直っていた箇所を指摘したものでした。残り2件は、意図どおりの挙動を問題としたものでした。
2つ目は、バックエンド側のPRで3件。誤った前例を根拠にしていて、指摘は取り下げになりました。
9月以降、review-pr の指摘ミスは0%から5.6%の範囲に戻っています。ただし、何を変えたから戻ったのかは記録がなく、未確認です。
nitpick-pr は数字が悪くないのに、やめた
nitpick-pr は直された割合が66.7%で、数字の上では2番目です。ただ、出てくるのは体裁や細かい書き方の指摘が中心で、クリティカルな問題は検出できません。直されても影響の小さい指摘ばかりだったので、実行自体をやめました。数字の良し悪しと、やる価値は別でした。
数字の限界
この結果の弱いところも書いておきます。
- 数えた範囲を「マージ済み・返信あり」に絞っているので、割合は全件で見るより高めに出る
- 「直された」の判定にはノイズがある。抜き取りで確認した8件のうち2件は、指摘と関係のない変更だった
- スキルを判別できなかった指摘が36%ある。特に8月は判別できないものが多かった
結果として残ったこと
半年やって、残ったのは一番シンプルな review-pr を定時に自動で回す形です。凝った版と細かい版は、どちらも今は回していません。
持ち帰れる判断基準は1つあります。レビューのスキルを比べるときは、指摘ミスの少なさだけ見ても差は出ません。直された割合と、1PRあたりの指摘の量をセットで見ることです。
もう1つ、結論が変わりました。そもそも指摘の数を追うこと自体が間違っていました。数は本質ではありません。次に見るべきなのは、指摘のクリティカル度合いです。
なお、この集計は1件ごとの判定データと集計スクリプトを残してあり、毎月同じ物差しで数え直す形にしています。