本記事はリンクアンドモチベーション Advent Calendar 2023の7日目になります。
はじめに
私は過去、GPTにプロダクトのヘルプページを読み込ませて、顧客の質問に回答してくれる
chatbotシステムのプロダクトマネージャーを務めていました。
しかし、chatbotの正答率がなかなか思うように上がってくれず、かなり難航しました。
今回は、そこで学んだGPTの「インプット」の重要性を記事にしようと思います。
きっかけ
正答率改善のため、まずはプロンプトの変更やステータスの変更を行いました。
しかし、正答率は80%程度で、質問したら教えてくれるchatbotシステムとしては頼りない
正答率となっていました。
GPTのスペックはどんどん良くなっているのに、なぜか訳のわからないヘルプを
引っ張ってきて、トンチンカンな回答をすると言うことが多発してしまいました。
そこで、GPTの性能やプロンプトによって正しい回答を導き出せていないのではなく、
GPTが読み込ませているヘルプを正しく理解できていないのではと考えました。
教材が悪いと頭のいい子は育たない、GPTは悪くない
私たちは、GPTが間違った回答をしたときに、どのようなヘルプを参照にして回答
したのかを同時に吐き出させるようにしました。
どんなヘルプを参照した場合にGPTが間違った回答をしてしまうのかを
分析することにしたのです。
すると、間違った回答が参照したヘルプページには主語がなかったり、字ではなく画像で
説明されていたりと、GPTにとって分かりにくいインプットであるという共通点がありました。
※イメージ図
GPTが理解しやすいインプット
ここからは、私がこのプロジェクトで学んだ、GPTが理解しやすいインプットをまとめます。
主語を明確にする
❌「操作前に必ずご確認ください」
⭕️「反映ボタンを操作する前に必ずご確認ください」
ヘルプの種類や文の流れからおおよそわかるだろうは、GPTには通用しません。
何の操作を行う前なのか、しっかりと主語を明確にしましょう。
目的語を明確にする
❌「公開や修正を行うことはできません。」
⭕️「結果の公開や修正を行うことはできません。」
1つ目は、2文目に目的語(結果の)がないため、GPTが理解しにくいです。
2つ目は、目的語を追加して何の公開や修正を行うことができないのかを明確にしています。
端折らず全てを明確に書く
❌「ユーザーの編集などを行っても」
⭕️「ユーザーの編集や削除を行っても」
大体予想がつくから書かなくてもいいよねはNGです。
しっかりと全ての事実を明記することが大切です。
結果
このプロジェクトの場合では、上記のようなGPTが理解しにくいインプットを修正し、
再度正答率を計測すると、正答率が80%→95%まで改善しました。
GPTのプロンプトや性能ではなく、インプットの質を高めることによって、
より精度の高い回答をしてくれることが分かりました。
まとめ
GPTは画期的な技術ですが、人間ではありません。
書いていること以外を読み取ることはできません。
つまり、どれだけ質の高いアウトプットをしてくれるかは、どれだけ質の高いインプット
をしているかにかかっているのです。
みなさんも、GPTが思い通りに答えてくれない！GPTポンコツ！と思わず、
教え方が悪いのかな？とインプットを見直してみましょう🔥