はじめに
「現場で活用するためのAIエージェント実践入門」の第8章で私がつまずいたことのメモです。
（このメモのほかの章へ：1章 / 2章 / 3章 / 4章 / 5章 / 6章 / 7章 / 8章 / 9章 / 10章 / まとめ）
第8章 AIエージェントの評価
この章では、AIエージェントの評価における観点や指標を学びます。
8.1 AIエージェントの評価とは
「AIエージェント能力」の評価と「問題解決能力」の評価に分かれています。前者はAIエージェント内の個々の処理が想定通りの精度で動いているか、後者はそのAIエージェント自体がきちんと本来の問題解決をできているのか、みたいな観点ですね。
本には開発チームが前者に注力しがちとありますが、確かにそうかもしれません。後者を意識するには開発チームが顧客の声を聞ける環境にいるか、もしくは顧客と接している営業やカスタマーサクセス／サポートチームとのコミュニケーションを密にする必要があります。話がそれてしまうので踏み込みませんが、チーム横断の話になるのでなかなか大変です。
8.2 評価指標
AIエージェント能力の指標では、RAGのような仕組みを入れる場合に検索処理の精度などが入ってくるかと思います。
問題解決能力の指標は、本番公開前のリリース判定に直結するものが多くなりそうです。目標値の設定では、お客様の期待値コントロールみたいな話も絡んでくる部分です。
AIエージェントの運用に関する指標では、「ユーザープロンプトの感度」が苦戦する部分かもしれません。顧客の実際の入力は、文脈が不足していたり略語が使われたりとかなり揺れます。私が以前、AIチャットボットやRAGサービスの導入・オンボーディングを担当していた時は、テストケース1件に対して5個程度の入力バリエーションを顧客にも考えてもらい、それを使って評価していました。
8.3 評価の準備
本では、社内活動のPoCで、かつ潤沢な評価データがない状況では、最低限のテストケースで始めることが推奨されています。テストケースを絞り、まず動作の一挙手一投足を確認するというアプローチは正しいと思いますし、テストケースが潤沢にあると自動で評価を回したくなり、ブラックボックスな評価になりがちというのもその通りだと思います。
ただし、プロジェクト自体を評価するためのテストケースや評価体制は、なるべく早めに整備すべきだと思います。
少ないテストケースでなんとなく試して、成否がよくわからないまま終わってしまうPoCプロジェクトもありますし、PoCのテストケースが少なすぎたり評価者がいい加減だったりすることで過大評価されて次に進んでしまい、その後の本番導入で苦戦することもあります。というか、実際にいくつもあって痛い目にあいました。
評価は、そのプロジェクトの成否の判定やリリース判定に紐づくことが多いはずです。評価者の負担などによりデータセットが準備できない、評価が実施できない状態というのは、ステークホルダーを正しく巻き込めていない可能性があるので注意が必要です。
あくまでも私の経験上の話ですので、参考程度でお願いします。
コラム「LLM-as-a-Judge」の話は、各種バイアス（位置バイアス、冗長性バイアス、自己強化バイアス、具体性バイハス）の対処や、審査員の性能に依存しにくい審査基準の検討、ガードレールにおけるスイスチーズの話など、大変勉強になりました。
8.4 エラー分析
AIエージェントがうまく動かない場合の原因と対策がまとめられています。少し脱線してしまいますが、実践Claude Code入門の第2部の内容と重なる部分が多いです。Claude CodeはAIエージェントの実装例の1つなので、Claude Codeがうまく動かない時の原因と対策は、AIエージェントがうまく動かない場合の具体例や対策として参考になるわけですね。
8.5 まとめ
この章は、AIエージェントの評価における観点や指標の話でした。
最後に本からは少し脱線しますが、2025年12月にAnthropicが「Bloom」という行動評価のフレームワークを発表していたので簡単に紹介します。
これはAIエージェントを自動で評価するためのものです。評価の観点や例を与えると、それを評価するために実施すべきことを考えて評価シナリオを作成し、それを実行して判定し評価レポートを作成してくれます。
AIエージェントの評価における課題として、AIエージェントのロジックに合わせて評価の仕組みも作り込まないといけないことや、AIエージェントの改良やLLMの進化によってテストケースがすぐに陳腐化してしまうことなどがあります。この解決を狙ったものになるかと思いますので、ご興味のある方はぜひこちらを。
次回はAIエージェントの活用におけるリスクや運用改善の話です。
（このメモのほかの章へ：1章 / 2章 / 3章 / 4章 / 5章 / 6章 / 7章 / 8章 / 9章 / 10章 / まとめ）