疑問
昨年ごろからAIエージェントが急速に発展してきて、「Evalsが重要」「評価がプロダクトの成否を分ける」みたいな話をよく聞きますよね。
AIエージェントにとってEvalsが重要なのは疑問の余地なく同意する一方で、「何をもって良いとするかを決めて、ユーザーにとって望ましい成果が出ているかを確かめるのって、AI以前から重要だったのでは?」「なぜ今になってEvalsがこんなに重視されるんだ?」とずっと疑問に思っていました。
AIエージェントがない機能における評価を考えてみる
問い合わせ管理ツールに「過去の問い合わせ対応履歴を表示する機能」を作るとします。
この機能がユーザーにどんなプラスの行動変容を促し、ビジネス上の成果につながるかについて、PdMは例えば以下のような因果仮説を持っているはずです。
- 履歴から状況を把握でき、調べ直したり、同じことを聞き直したりする手間が減る。
- 結果として、対応者が少ない負担で問い合わせを解決できる。
- 問い合わせの解決率がx%上がり、1件あたりの平均対応時間がy分減る。
となると、この問い合わせ履歴表示機能が本当にユーザー価値を生んでいるのか確かめるには、1→2→3という連鎖を本当に生じさせているのか、逆に情報過多で混乱し、対応の遅れや漏れを生んでいないのかなどを、定量定性の両面から適切に評価する必要があります。
この仮説立てと評価設計は、元からPdMの仕事です。
では、なぜAIエージェントの登場以降、Evalsがこんなに重視されるのか?
AIエージェント機能における評価を考えてみる
今度は、同じ問い合わせ管理ツールに「過去の対応履歴を読み、問い合わせに対応するAIエージェント機能」を作るとします。
この機能がユーザーにどんな価値を生み、ビジネス上の成果につながるかについても、例えば以下のような因果仮説を持つはずです。
- AIに履歴の確認や対応を任せることで、対応者が自分で調べたり、回答を作ったりする手間が減る。
- 結果として、対応者が少ない負担で問い合わせを解決できる。
- 問い合わせの解決率がx%上がり、1件あたりの平均対応時間がy分減る。
となると、この機能が本当にユーザー価値を生んでいるのか確かめるには、この連鎖が生じているのか、逆にAIの対応を確認・修正する手間が増えていないのかなどを評価する必要があります。
ここまでは、先ほどと同じですね。期待するのは、対応者の負担が減り、組織の成果につながることです。
ただ、ここで二つの問いを並べてみます。
- このAIは、この機能でスコープとしている問い合わせに、正しく対応できるか?
- このAIを導入すると、対応者の負担が減り、解決率や対応時間が改善するか?
前者は、AIが仕事をこなす能力や信頼性の評価。後者は、プロダクトが生む価値や効果の検証です。
生成AIは非決定的に振る舞うという特性上、同じ依頼でも結果が揺れ、指示の変更がほかの場面にどう影響するかも見通しにくい。例えば、誤回答が出た質問に対応するためにプロンプトを直したことで、その質問に対して正しい回答が出るようになった。でも、たまたまうまくいっただけかもしれないし、これまで対応できていた別の問い合わせでは失敗するようになったかもしれません。
これでは、変更のたびに「この状態でリリースしていいのか?」と迷います。評価基準と測る仕組みが曖昧なままだと、日々の改善をユーザーに届ける判断そのものが難しくなる。
そこで、代表的なケースと評価基準を用意し、繰り返し測って変更前後を比較する。ここでいうEvalsは、そうしたリリース判断を支える仕組みです。具体的な評価方法は、https://www.anthropic.com/research/demystifying-evals-for-ai-agents や https://hamel.dev/blog/posts/evals/ に譲ります。
AIを組み込んだ機能では、ユーザーに望ましい価値を提供しているかの前に、任せた仕事を安定してこなせるかの評価が、目の前のリリース判断で切実に求められている。
PdMとして重要なことは、以前から変わらない
ここで最初の疑問に戻ります。
前者の評価が難しくなったとしても、PdMが考えるべきことが、そこで終わるわけではありません。後者の「使うことで価値や成果が生まれるか」まで含めて検証可能な形に設計する必要があるはずです。
今回なら、AIが適切に対応できることに加えて、それによって対応者の確認や修正も含めた負担が減り、解決率や対応時間の改善につながるかまで考える必要があります。
AIの回答が正しくても、対応者が毎回正しいかの裏付けのために履歴を調べ直して確認するなら、期待したほど手間は減らないかもしれません。Evalsで良い結果が出ることと、実際に使う価値があることは、つながっているけれど同じではありません。
その評価基準に合格すると、誰の何が、なぜ良くなるのか。
今回の例なら、「AIの回答が正しいか」に加えて、「対応者が確認や修正にかける手間まで含めて減るか」を確かめられるようになっているか。さらには、AI機能で対応者の確認や修正の手間が減る機能をいまリリースすることは、事業戦略上なぜ必要なのか。
生成AIならではの難しさに向き合ってEvalsを設計する。そのうえで、その評価がユーザー価値やビジネス成果にどうつながるのか、仮説と確かめ方まで整理する。後者は、AI以前からPdMが担ってきた仕事と変わらないと思います。
開発に渡す前に、「AIが何をできればよいか」と「それによって誰の何が良くなるか」を、つなげて説明できているか?
ちゃんと意識せねばと、改めて思いました。