はじめに
最近、AIに実装やレビューを任せる中で、自分でスキルを作ったり、既存のスキルを修正したりするようになった。
ここでいうスキルは、AIに作業を依頼するときの手順や判断基準を、繰り返し参照できる形にまとめたものだ。
使ってみて分かったのは、スキルを作ることと、その内容どおりに作業してもらうことには、まだ距離があるということだった。
きっかけは、同じ指摘の繰り返し
「既存の実装に合わせてほしい」
「今回の依頼と関係ない変更は入れないでほしい」
「共通処理があるか、新しく書く前に探してほしい」
AIに実装を任せていると、こうした指摘を何度もしていた。
その場では修正される。
でも、別の作業ではまた似た指摘をすることになる。
「今後気をつけます」で終わらせず、次の作業でも参照できる形に残したかった。
そこで、指摘した内容をスキルに反映するようにした。
実装前に近い機能を読むこと。
レビューでは動作だけでなく、命名やファイル構成も比較すること。
修正後には、依頼の範囲を超えた差分が入っていないか確認すること。
ところが、そこまで書いても指摘はなくならなかった。
「確認しました」の範囲が見えていなかった
あるAPIの実装では、スキルを指定してレビューさせた後に「既存実装との乖離はありません」と報告された。
実際には、そのAPIだけ独自のエラー処理が追加されていた。
そこを指摘して修正した後も、別のファイルに既存と異なる書き方が残っていた。
履歴を読み返すと、AIが既存実装を全く確認していなかったわけではない。
権限判定や日付変換など、既存の処理を再利用している部分は確認していた。
ただ、その確認から、ほかの部分も含めて「乖離なし」と判断していた。
一部を確認した結果が、全体を確認したような報告になっていた。
ここで、何でも「スキルに追記すればよい」と考えるだけでは足りないと感じた。
指示そのものが足りない場合と、書いてある指示を最後まで実行できていない場合が混ざっていたからだ。
テストが通っていても、前提は確認が必要だった
テストの成功についても、似たことがあった。
AIが自分で決めたエラーレスポンスをテストの期待値にし、そのテストを通すために独自処理を追加していた。
テストは成功している。
でも、その期待値自体が既存APIの契約に沿っているかは、別に確認する必要があった。
自分で置いた前提に実装が合っていることを確かめても、その前提が正しいとは限らない。
「テスト成功」「レビュー済み」という言葉だけでは、自分が確認してほしかったことまで確認されたとは言えなかった。
指示を足す前に、何が不足していたかを分ける
今は、指摘が出たときに、すぐ「これもスキルに追加して」と頼む前に、少し切り分けて考えるようにしている。
- そもそも必要な指示がなかったのか。
- 指示が曖昧で、確認対象が伝わらなかったのか。
- 指示はあったが、実行や判断が不十分だったのか。
必要な指示がなかったなら追記する。
「既存に合わせる」だけでは広すぎるなら、比較する対象を具体化する。
一方、指示があるのに実行できていないなら、同じ注意書きを追加するだけでは足りない。
何を確認した結果なのかを、追えるようにする必要がある。
例えば、次のような情報だ。
- 比較した既存ファイルはどれか。
- 今回の実装との違いは何か。
- 違いがあるなら、なぜ必要なのか。
この情報があれば、確認の範囲も判断の理由も追える。
確認漏れがあったときも、単に「もっと慎重に」と指示するより、どの手順が不足していたかを考えやすい。
機械的にチェックできる内容なら、lintやテストに任せる方法もある。
何でもスキルの文章だけで解決しようとしなくてよい。
スキルを更新した後に見るもの
スキルを作ることは、一度で完成する指示書を書くことだと思っていた。
実際には、使ってみて、結果を確認し、失敗した箇所から手順を直していく作業だった。
ただ、指示を増やした量を、そのまま改善の量だとは考えないようにしたい。
追記したという事実だけでは、次の作業が変わったことにはならない。
次の依頼で比較対象が示されるようになったか。
必要な確認が抜けていないか。
判断の根拠を追えるようになったか。
そこまで見て、スキルの更新が役に立ったかを判断したい。
最近スキルを作る中で学んだのは、AIに何をしてほしいかを書くことと、それができたとどう判断するかを決めることは、セットだということだった。

