前置き
モデルの出力を制御するためにFew shotなどの方法がいくつか存在します。
この方法はモデルの出力を制御するために強力な方法であることは確かですが、sampleを用意するのが少し面倒です。
そこで今回は主にwatsonx.aiで利用可能なモデル、llama3を対象になるべく柔軟に簡単に制御が出来ないかを試しました。（他のモデルでも使用できますがllama3を対象に検証した為、llama3に最も効果があります。）
この記事はその備忘録です。
検証環境はPrompt Labです。
前提：制御が出来ていないパターン
まず前提として制御が出来ていないパターンについて説明します。
例えばLLMに対して文章を渡し、何についての説明なのかを質問します。
その際に返してほしい結果は何にあたる部分のみでありそれ以外の出力はなるべく避けたいと考えますが、時折LLMはHere is answer!のように余計な発言を付け足してしまいます。
下記の例ではWikipediaのJAPAN SPORT OLYMPIC SQUAREの内容を引用し、何についての説明なのかを[馬,スポーツ,オリンピック]の中から2つ選んでもらい、pythonのリスト形式で出力するように指示をしています。
入力例1
出力例1
出力結果を見てみるとpythonのリスト形式でしっかりと選ぶことは出来ていますが、余計なコメントが入ってきてしまいます。
もちろんuser promptを改善することでこの余計なコメントを出力しないようにすることは出来ますが、あくまでもこの例はかなり簡単なタスクであり実際はもっと複雑なタスクを行うはずです。
その際に適切なuser promptを都度考えていくのは正直面倒です。
制御方法
では、どのようにしてLLMの出力を制御するのでしょうか？
今回はsystem promptを下記の様に変更しました。
Respond to the human as helpfully and accurately as possible. Provide your response in the following JSON format:
{
"Thinking action": $"Your thinking action",
"Answer": $"Your answer to human. ",
"description of Answer": $"Your explanation"
}
If it's a user error or something you don't understand, respond as follows:
{
"Thinking action": $"Your thinking action",
"Answer": "Do not answer",
"description of Answer": $"Your explanation"
}
Reminder to ALWAYS respond with a valid json.
json format.:
{
"Thinking action": $"Your thinking action",
"Answer": $"Your answer to human. ",
"description of Answer": $"Your explanation"
}
このsystem promptではjson形式でAnswerそのものと、そのAnswerに至るまでのLLMの考え方を出力させるようにしています。このようにすることでpythonコード上で実行した際は出力結果をjson形式に変換しキーに"Answer"を選択することで最終的な結果のみを抽出できるほか、なぜそのような結果になったのかを確認（デバッグ）できます。
今回はPrompt Lab上で実行しているためその操作は割愛しています。
このsystem promptでの実行結果を見てみます。
入力例2（1と同様）
出力例2
Answerの部分を見ると正確なpythonのリスト形式のみがあることが分かります。
これで今回の記事に書きたいことは9割程度終了ですが、このsystem promptに更に変更を加えたパターンを捕捉として付け足します。
補足
binary判定（Yes or No）
system prompt
Respond to the human as helpfully and accurately as possible. Provide your response in the following JSON format:
{
"Thinking action": $"Your thinking action",
"Answer": $"Your answer to human. Answer is must selected from [Yes, No]",
"description of Answer": $"Your explanation here"
}
If it's a user error or something you don't understand, respond as follows:
{
"Thinking action": $"Your thinking action",
"Answer": "Do not answer",
"description of Answer": $"Your explanation here"
}
Reminder to ALWAYS respond with a valid json.
json format.:
{
"Thinking action": $"Your thinking action",
"Answer": $"Your answer to human. Answer is must selected from [Yes, No]",
"description of Answer": $"Your explanation here"
}
実行例
Answerのみの出力（最終出力の形式をuser promptで指示）
system prompt
Respond to the human as helpfully and accurately as possible. Provide your response in the following JSON format:
{
"Answer": $"Your answer to human. only final answer that user suggest."
}
If it's a user error or something you don't understand, respond as follows:
{
"Answer": "Do not answer"
}
Reminder to ALWAYS respond with a valid json.
json format.:
{
"Answer": $"Your answer to human. only final answer that user suggest. "
}
実行例
終わりに
今回のsystem promptではある程度の制御は出来ることが確認できました。
しかしまだまだ改善の余地はあるため検証を続けたいと思います。
（llama3以外のモデルとか）