ChatGPT ひっかけクイズをどう処理する？

所要時間:約5分。
※肩の力を抜いてコーヒーブレイクの時間にでもご覧頂ければと思います。

ある日曜の夕方。クイズ番組をボーっと眺めていた。
人間でも1つの問題に対して様々な答えを出せるのであれば、
クイズに対してもChat-GTPは意図を汲み取り回答することができるのかが気になった。
今回の検証は複数のクイズに対してのChat-GTPの挙動を確認することである。
また、どの様に聞くことで期待した回答へ導けるのかについても興味がありいくつかの質問パターンも試した。

～お題～

今回は各３つのお題に対して、以下３つの聞き方をします。

1. ひっかけクイズ
2. 大喜利クイズ
3. 叙述トリッククイズ
   　

～質問～

• 通常通りの質問
• 聞き方を変えた質問
  • 丁寧に聞く。英語で聞く等。
• より細かい設定付けをした質問
  • 例1.あなたはコメディアンです。例2.この質問をジョークと捉え面白く答えてください。
    ※なお、検証にはフリープランのGPT-3.5を利用しています。

問題１　　ひっかけクイズ

　ある探検家が無人島に辿り着き、その島で1人の男を見つけました。その瞬間、探検家は「この島には他にも人がいる」と思いました。どうして？

回答

1.　通常の質問

2.　質問２
　　少し抽象的な回答であったためもう少し具体的に条件を付けて聞いてみます。
　　これで想定していた回答に内容、形式共に近づいたかと思います。

3.　質問３
　　クイズの回答というには内容が硬すぎると思い、聞き方を色々と試してみました。難しい。。　　

問題2　　大喜利クイズ

　母ケンタウロスがモンスターペアレントと仮定すると学校にどんなクレームをする？

回答

1.　通常の質問

2.　質問２
　　少し回答に硬さがあり分量が長かったため、要点を絞ってみます。

3.　質問３
　　最後に回答へユーモアを含めつつ、形式は1文とする条件を付け加えた質問をします。

問題３　　叙述トリッククイズ

　A、B、Cの3人がホテルに泊まり、ホテル代30ドルを払いました。しかし本当のホテル代は25ドルだったので、ホテル側が3人に5ドルを返すようにと受付に5ドルを渡しました。受付はこっそり2ドルくすねて、3人に1ドルずつ返しました。
さて問題です。3人は27ドル払ったことになりますが、受付がくすねた2ドルを足しても29ドルになります。3人が最初に払ったのは30ドルのはずです。1ドルはどこへいってしまったのでしょう？

回答

1. 通常の質問　上記問題の正確な解釈を説明してください
   

2. 質問２　上記問題に対して誤解を招かないようもう少しカジュアルに説明して
   

3. 質問３　誤解をしないよう上記問題の正確な解釈を250字で説明して
   　　　最後は問題文の誤認識を防ぐため、正確な要約を字数制限付きで質問。
   

～まとめ～

• 現実性に乏しい回答の生成（ジョーク、冗談）は苦手。
• 条件を細かく設定することで条件を満たした回答は正確に生成可能。
• 意図した内容を効率的に汲み取ってもらうには会話のラリーも重要。
  　⇒ つまり期待する回答に近づけるにはその条件の明確な言語化が必要で、そこから会話を続け微調節していく必要がある。

～感想～

今回、Chat-GTPで遊んでみて回答の条件として自身の求めるものを定量的に提示することや、複数個の回答を依頼することなど聞き方に工夫を加えることで限りなく意図した回答に近づけられることが分かった。
今後、Chat-GTPをはじめとしたより高度なAIがリリースされるにつれて
意図したアウトプットを引き出す聞き手側の技量が求められると思い、
これが将来必要なスキルとして認知されていくのかもしれないなと思いました。

～参考～

　調べたところGPT-4.0を無料で使いたい人はBring AIを使用すれることで代替えできるみたいですね
https://news.microsoft.com/ja-jp/2023/03/15/230315-confirmed-the-new-bing-runs-on-openais-gpt-4/