この記事について
前回の記事では、生成AIに対して
「正解がある問い」と「正解がない問い」の境界線について整理しました。
今回はその続きです。
「正解がない問い」に対して
どのように定量評価、閾値（しきいち）判定を下すべきかを解説していきます。
正解がない問いをどのように評価するのか？
正解がある場合の合否判定は極めて容易です。
例えば、以下の問題の答えは「2」です。
※よほど捻くれない限りはそうです。「田んぼの田」などはご容赦ください。
Q: １ + １ =
しかし、以下のように、主観・視点・文脈が絡むタスクには完全な正解が存在しません。
Q: 昨日、面接した方を採用しますか？
担当者の感覚で、なんとなく良さそうだし採用！ となること、ありませんか？
感覚だけで合否を決め続けることを否定はしません。
ですが、「技術力」「コミュニケーション能力」「企業文化への適合」のような観点ごとの採点を記録するための評価シート（ルーブリック）に則り、採点するケースもあると思います。
生成AIもまったく同じです。
「正解がない」ことと「評価できない」ことは別です。
正解がない問いに対しても、評価軸を分解してスコア化し、閾値を設けることで、ブレない機械的な判定が可能になります。
その具体的な3つのステップを見ていきましょう。
ステップ1：複数の観点に分解する
正解がない問いへの出力を評価する第一歩は、「良い回答とは何か」を複数の観点に分解することから始まります。
例えば、面接採用の事例の場合、以下のように分解できます。
| 観点 | 評価基準（満たすべき状態） |
|---|---|
| スキル・技術力 | 求める開発言語や実務経験があり、業務を遂行できる能力を備えているか |
| 論理的思考力 | 質問の意図を正しく汲み取り、結論と根拠を道筋立てて説明できるか |
| カルチャーマッチ | 自社の行動指針や価値観に共感し、チームの方針に沿って行動できるか |
| コミュニケーション | 独り善がりにならず、傾聴や状況に応じた柔軟な受け答えができるか |
「全体として100点満点中何点か？」を考えると面接官ごとの主観のブレが大きくなりますが、面接シートのように「項目ごとの充足度」に切り分ければ、客観的な採点が可能になります。
ステップ2：重要度を決めて、質問と採点基準を設計する
観点を分解したら、次に決めるのはどの観点をどれだけ重視するかです。
すべてを同じ重さで評価する必要はありません。
例えば採用面接なら、以下のように考える企業もあるでしょう。
- スキル・技術力は、採用後の教育で補える
- 論理的思考力は、あれば嬉しい
- カルチャーマッチやコミュニケーションは、採用後に変えにくい
その場合、例えば以下のように配点できます。
| 観点 | 配点 |
|---|---|
| スキル・技術力 | 10点 |
| 論理的思考力 | 10点 |
| カルチャーマッチ | 40点 |
| コミュニケーション | 40点 |
| 合計 | 100点 |
この配点自体が、「何を重視して採用するのか」を数値化したものになります。
そして、配点を決めたら質問もそこから逆算します。
例えば、スキル・技術力が10点しかないのであれば、技術質問を大量に用意する必要はなく、一方カルチャーマッチを40点とするのであれば、以下のような質問と採点基準を事前に決めておきます。
＜質問例＞
・意見が対立したとき、どのように対応したか
・チームの方針と自分の考えが違った場合、どう行動するか
・仕事を進める上で大切にしていることは何か
＜採点基準＞
高得点：相手やチーム全体を意識して行動している
中得点：協調姿勢はあるが、自分の考えを優先する場面もある
低得点：自分の判断を優先し、周囲との調整をほとんど行わない
フローチャートにすると以下の通りです。
ステップ3：合計スコアに閾値を設定する
ステップ2まで設計できれば、最後の判定はシンプルです。
例えば、合計70点以上なら一次通過とします。
先ほどの配点なら、スキル・技術力と論理的思考力を満点取っても20点です。
そのため、カルチャーマッチやコミュニケーションの評価が低ければ、70点には届きにくくなります。つまり、ステップ2で決めた重要度が、そのまま選別結果に反映されるわけです。
必要なら最低条件を追加する
ただし、合計点だけでは、ある項目の低さを別の項目の高さで補えてしまいます。
例えば、以下でも通過できます。
| 観点 | 得点 |
|---|---|
| スキル・技術力 | 10点 |
| 論理的思考力 | 10点 |
| カルチャーマッチ | 40点 |
| コミュニケーション | 10点 |
| 合計 | 70点 |
これで問題なければ、そのままで構いません。
一方で、「カルチャーマッチもコミュニケーションも、どちらも一定水準以上必要」という方針ならば、合計70点以上＆カルチャーマッチ25点以上＆コミュニケーション25点以上といった条件を追加します。
大切なのは、判定を複雑にすることではありません。
実際の採用方針をそのまま点数と条件に反映することです。
最後は人が判断する
ここまで設計し、実際に運用を始め、狙い通りの結果が得られれば、一定の基準で候補者を絞り込めます。ただし、最終判断まで機械的に決める必要はありません。
例えば、以下のような流れにもできます。
この仕組みの目的は、人の判断をなくすことではありません。
感覚だけで全員を評価するのではなく、一定の基準で候補を絞り込む。
そして、人が判断すべき範囲を小さくすることです。
まとめ
これは採用面接に限らず、生成AIに記事を書かせる、コードレビューをさせる、企画案を出させるといった『正解のないタスク』の出力を評価・採用するときも全く同じです。
「正解がない問い」に対して、出力を評価するコツは以下の要領です。
- 評価する観点を分ける
- 重要度を配点に反映する
- 配点に合わせて質問と採点基準を作る
- 合計スコアに閾値を設定する
- 最後は人が比較して判断する
今回のように例示があれば、わかりやすいです。
しかし、目の前のケースごとに、これを考えるのは実は非常に難しいです。
また、このような仕組みの応用には、陥りがちな問題があります。
それは、仕組みだけ模倣して、実態が伴わないことです。
今回であれば
「評価シートは作った。でも運用した実績はない。」という状況です。
その評価基準が正しいか、これでは不透明であるため、狙い通りに回るかはわかりません。
生成AIを利用する場合も、本来は「正解がない問い」に対して
これぐらいの判断基準を用いなければ、その出力を採用して良いかは判断できません。
万が一、生成AIに面接動画を与えた上で「この人、採用していい？」だけを求めた場合、それは 生成AIの感覚で、なんとなく良さそうだし採用！ となるでしょう。
※本記事は、校正・推敲の用途などで生成AIを用いています。