0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Claudeのコードレビュースキル3つを検証したら、シンプルな構成が一番直されていた

0
Posted at

きっかけは、前に作った採用率レポートの数字が、期間も数え方もバラバラで、どのスキルが良いのか判断できなかったことです。PRレビューを任せるスキルを、半年で3つ作りました。今回、3つのスキルが出した指摘を全部集めて、1つの物差しで数え直しました。結果の共有です。

  • 数えたのは、2026年4月から11月13日までの指摘1,306件
  • 一番直されていたのは、一番シンプルな review-pr で68.9%。観点を並列で増やした deep-review は59.2%
  • 指摘ミスの割合は、3つとも約1割で差がなかった

作った3つのスキル

前提だけ短く書きます。対象は、モバイルアプリとバックエンドの2つのリポジトリのPRです。

  • review-pr:PRの行ごとに指摘を出す、基本の1本
  • deep-review:観点ごとにサブエージェントを並列で走らせる、凝った版。観点は11から14まで増えた
  • nitpick-pr:細かい指摘専用

数え方

定義は最初に固定して、途中で変えていません。

  • 「直された」は、指摘を受けて実際にコードが変更されたもの。返信の内容と、その後のコミットで判定した
  • 数えた範囲は、マージ済みで、PRの作成者が指摘に返信しているPR。全期間の指摘1,691件のうち1,306件が対象で、未マージの271件、作成者が返信していない112件、botのPRの2件は外した
  • 指摘した人とPRの作成者は区別していない。自分のPRへの指摘も混ざっている
  • 以前に作った採用率レポートとは物差しが違うので、そことは比べていない
  • 指摘の36%は、どのスキルが出したか判別できなかった。スキル別の数字には、その留保がつく

結果

スキル 指摘 PR1本あたり 直された 直された割合 指摘ミスの割合
review-pr 354 4.4 244 68.9% 9.6%
nitpick-pr 114 2.8 76 66.7% 9.6%
deep-review 368 7.8 218 59.2% 9.8%
全体(判別不能を含む) 1,306 9.7 789 60.4% 11.2%

一番凝った deep-review が、一番直されていませんでした。指摘ミスの割合は3つとも約1割で、精度に差はありません。

この結果は、体感と一致していました。普段のレビューでも、review-pr が一番いい指摘をしてくる印象があったからです。意外だったのは順位ではなく、体感の裏付けが取れたことでした。

直されなかった理由

直されなかった指摘を理由で分けると、差が出たのはここでした。

  • deep-review は、「指摘は正しいが低優先度」と「このPRの範囲外」を合わせて17.4%
  • review-pr は同じ合計が6.2%
  • nitpick-pr は16.7%

deep-review は、1PRあたりの指摘が review-pr の約1.8倍あります。正しい指摘でも、そのPRでは直されないものが多かった、という結果です。

月別で見ると、8月に review-pr の指摘ミスが増えた月がありました。この話は具体例の節にまとめます。

具体例:8月に集中した指摘ミス

8月の review-pr の指摘ミス15件のうち、8件が2本のPRに集中していました。

1つ目は、モバイル側のPRで5件。うち3件は、古いコミットを参照して、すでに直っていた箇所を指摘したものでした。残り2件は、意図どおりの挙動を問題としたものでした。

2つ目は、バックエンド側のPRで3件。誤った前例を根拠にしていて、指摘は取り下げになりました。

9月以降、review-pr の指摘ミスは0%から5.6%の範囲に戻っています。ただし、何を変えたから戻ったのかは記録がなく、未確認です。

nitpick-pr は数字が悪くないのに、やめた

nitpick-pr は直された割合が66.7%で、数字の上では2番目です。ただ、出てくるのは体裁や細かい書き方の指摘が中心で、クリティカルな問題は検出できません。直されても影響の小さい指摘ばかりだったので、実行自体をやめました。数字の良し悪しと、やる価値は別でした。

数字の限界

この結果の弱いところも書いておきます。

  • 数えた範囲を「マージ済み・返信あり」に絞っているので、割合は全件で見るより高めに出る
  • 「直された」の判定にはノイズがある。抜き取りで確認した8件のうち2件は、指摘と関係のない変更だった
  • スキルを判別できなかった指摘が36%ある。特に8月は判別できないものが多かった

結果として残ったこと

半年やって、残ったのは一番シンプルな review-pr を定時に自動で回す形です。凝った版と細かい版は、どちらも今は回していません。

持ち帰れる判断基準は1つあります。レビューのスキルを比べるときは、指摘ミスの少なさだけ見ても差は出ません。直された割合と、1PRあたりの指摘の量をセットで見ることです。

もう1つ、結論が変わりました。そもそも指摘の数を追うこと自体が間違っていました。数は本質ではありません。次に見るべきなのは、指摘のクリティカル度合いです。

なお、この集計は1件ごとの判定データと集計スクリプトを残してあり、毎月同じ物差しで数え直す形にしています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?