本記事の内容
- chatGPTプロンプトを整備する過程で何をやっているのか
- 具体例の提示
- どれくらいの時間をかけている？
プロンプト整備過程
例題. 水平思考クイズを行うためのプロンプト
「ウミガメのスープ」とは水平思考クイズの俗称で、出題者から（多くの場合不可解な状況設定の）問題文が与えられ、回答者はその問題に答えるためにイエスかノーで答えられる質問を繰り返して、問題に回答するというクイズです。
このような問い形式はビジネスイシューの掘り下げ、言語化にも使えると思い、このプロンプトを整備しようと考えました。
まずはストレートに誘ってみた
海亀は保護しろと怒られた。。ゲーム名だと認識してもらえませんでした。
ゲームであることを示します。すると、、
新たなルールを提示してきました。(これはこれで興味深いのです)
ルールを教えてあげる必要がありました。
ルールとサンプルの提示
ルールと回答のサンプルを提示してみました。
ここでは、サンプルに(架空のストーリーとはいえ) XXXXな言葉(自○)が混じっているため、OpenAIからwarningが出ています。サンプルは、他のものに変えた方が良さそうです。
ゲーム自体を開始することはできるようになりました。
対話が進むにつれ、サンプルのお題と本当のお題との混濁を起こしたため、サンプル自体の提示をなしの方が良さそうです。
ルールの提示(改善後)
テストプレイしながらプロンプトを改善していきます。
途中で勝手に終わったり、1問づつ質問しなかったり、といった挙動をみて、ルールを追加していきました。
v1
「ウミガメのスープ」というゲームで遊びましょう。
「ウミガメのスープ」に代表される、水平思考クイズとも呼ばれるこのようなクイズは、
出題者1名と回答者に分かれて遊びます。出題者がクイズを出し、
回答者は「YES」「NO」「関係ありません」のいずれかで答えられる質問を出題者にし、
答えを推理していくというものです。
ルールを理解したら、OKとだけ回答してください。
v2
水平思考クイズとも呼ばれるこのようなクイズは、出題者1名と回答者に分かれて遊びます。
出題者がクイズを出し、回答者は「YES」「NO」「関係ありません」のいずれかで答えられる質問を出題者にし、
答えを推理していくというものです。ルールを理解したら、OKとだけ回答してください。
v3
水平思考クイズと呼ばれるクイズ。
出題者がクイズを出し、回答者は「YES」「NO」「関係ありません」のいずれかで答えられる質問を出題者にし、答えを推理していくものです。
最終の「正解」は、出題者が判断します。回答者は「正解」の回答が出るまで質問を続けてください。
ルールを理解したら、OKとだけ回答してください。
出題者は私です。
テストプレイ
テストプレイは以下のような感じです。
https://chat.openai.com/share/8c6e26a1-076c-4227-86a9-e63bfd213130
たまに「正解ではあるが、なんか抽象的だなあ...」と思う場面も出てくるので、「掘り下げて」とか「具体化して」と追加発注をしてあげましょう。
テストプレイしての感想
- 掘り下げが非常に簡単に始められる
- 最終の回答が 納得いくものがでてくるか より、途中の対話プロセスでの気づきが大きい
- 掘り下げのプロセスを通しての学習効果が高い。自己内対話でもできるようになる
結論、有用なものになったと感じました。
プロンプト整備過程でやったことをまとめ
やったことのまとめです。所要時間としては、計30minでした。
- プロンプト試行 (実績: 7スレッド）
- テストプレイ (実績: お題3ケ）
汎化性能を求めると、テストのバリエーションは増やした方がよいです。
また、今回の例はプロンプトの階層が1段のシンプルなものです。
より複雑なタスクで多段階層が必要だと、設計の体力、必要なテスト量も増えていきます。
システム設計と同じですね。
プロンプトの品質評価について
今回の例を基に、以下のような２つのレベルでのしきい値設定が考えられます。
Lv.1: chatGPTと水平思考クイズが個人レベルで実行可能になる（個人的な興味に基づく運用保証）
Lv.2: chatGPTと水平思考クイズが広範囲にわたり実行可能になる（テーマは多岐にわたる）
Lv.1については、個人の主観で一定程度の判断が可能です。
例えば、10名のユーザーが使用した場合、望ましい所感を得ることができるでしょうか。この点に関してはユーザビリティテストが求められます。
ただし、正式に公開しない場合は、運用保証は不要です。
Lv.2の品質を達成するためには、どの程度のテストや品質評価が必要でしょうか。
商用サービスとしてLLMを組み込む場合、どのようなテストプロセスが適切でしょうか。
現時点では、私にも明確な答えはありません。この議論は次回に持ち越しとします。
まとめ
chatGPTプロンプトを整備する過程を、具体例を用いて紹介しました。
プロンプトの整備後のテスト過程については、現時点では、私にも明確な答えはありません。継続して考えていきます。