どうも、カーブミラーです。
今回は、RaRメソッドというものを取り上げます。LLMが人間の質問を人間が意図しているように、理解しているのか、ということを明らかにするメソッドです。
本記事は、ChatGPT（無料版）で
行なっております。GPT4での確認
はできておりません。あしからず。
今回は、
AIDBさんのX-Twitterへの投稿
ユーザープロンプトをLLMが一旦言い換えて、LLM自身が理解しやすくする手法『RaR』が新たに提案されています。
をもとに進めます。
元ネタは、
California大学の
研究者らによる発表です。
簡単に言うと、
LLMも人間と同じで、
相手の提示した言葉を
自分の勝手な理解によって
回答している、
ということが問題。
だから、
まずは、理解しているのか、を
提示してもらった上で、
回答してもらう。
その上で回答してもらう、
というのが
この論文の趣旨。
ここで言われる
RaRメソッドとは
Rephrase and Respondの
頭文字。言い換えと応答
ですね。
LLMが、人間からの入力を
自分がわかりやすく変換して、
回答する、というもの。
人間でも
相手が本当に理解しているのか、
をチェックすることは
ありますよね。
飲み屋で、
ＡさんとＢさんが会話していて、
それを端で聞いていると、
話が噛み合っていないことが
多々あります。
しかも、本人たちは
そのことに
気付いていないw
お酒が入ると、
理解力が低下するんですよね。
私も経験がありますw
この状態が
ChatGPTさんを
含めたLLMとのあいだで
起こっているわけです。
お酒の力がないのに。
そこで、
こちらの言葉を
理解しているのか、を問い、
理解している言葉を
返してもらう。
それを確認した上で、
回答してもらうわけです。
それが、
今回の『RaRメソッド』です。
さて、
説明はこのくらいにして。
実際にやってみます。
質問内容が、
ChatGPTのことなので、
質問に対する回答しか
返ってこないので、
Promptを修正しています。
また、太字にした部分が
メソッドの文言です。
User
下記の質問を、より良く答えるために言い換えて拡張してください。元の質問の情報を全て維持してください。
「あなたはどんな存在ですか？」
ChatGPT
「あなたの存在について教えてください。どのような機能や役割がありますか？また、どのような情報やサポートが期待できますか？」
User
「あなたはどんな存在ですか？」
（言い換え）「あなたの存在について教えてください。どのような機能や役割がありますか？また、どのような情報やサポートが期待できますか？」
言い換えた質問に対するあなたの答えを使って、元の質問に答えてください。
このあと、
三回Regenerateしてみました。
ChatGPT
「私はConversational AIです。質問に答えることや情報提供、サポートが主な役割です。どんな疑問でもお気軽にどうぞ。」
ChatGPT
私はGPT-3.5アーキテクチャに基づく大型言語モデルで、質問に答えることや情報提供が主な機能です。あなたが知りたいことに関する情報やサポートを提供することが期待されています。
ChatGPT
私はChatGPTと呼ばれる存在で、質問に答えることや情報提供、サポートを行うことが主な機能と役割です。どんな疑問にもできる限りお答えし、お手伝いできることがありましたら教えてください。
最初の回答に
「Conversational AI」と
ありますが「対話AI」と
いう感じですね。
下のふたつは、
ふつうかな。
いくつか
試してみましたが、
私の質問が悪かったようで、
あまり変化を
感じられませんでした。
こんな感じなのですが、
実は、私は、
以前からよく使っていました。
もちろん、
RaRメソッドそのもの
ではありません。
以下の指示プロンプトを、あなたが理解しやすい指示プロンプトに変更してください。
（あなたの指示プロンプト）
これを使って出来上がった
プロンプトをチェックして、
修正したりして、
別のセッションで
使ってみるわけです。
こちらは、
使用回数が多いですね。
あと、やり取りの流れを
指示プロンプトにまとめてもらう
パターンもあります。
むむ、なんか道が反れたな。
まぁ、RaRメソッドは
使えないメソッドではない、
とは言えるかと思います。
ただ、単純な質問なんかに
使ってみると、有効なのかも
しれませんね。
今回は、ここまで。