情報源あり質問応答タスクで「わからない」ときの回答の作り方

はじめに

ChatGPTの知識不足を補うため、外部知識（マニュアルなど）をプロンプトで与えて質問応答する手法がよく使われています。ChatGPTを質問応答に応用するときに必要に応じて「わからない」と言わせることは信頼性の高いシステムを作るうえで重要です。

しかし現実には、情報源に質問の答えが明記されているケースは意外と少ないため、少しでも曖昧なものをすべて「わからない」としていると、ほとんど何も答えられないシステムになってしまいます。情報源に答えが明記されていなくても、参考になるかもしれないことが書かれているなら、そのことを教えてあげたり、考えられる可能性を伝えてあげたりすることは、質問者の利益になる可能性があります。

そこで、いくつか具体的な事例を浮かべながら、厳密に考えれば「分からない」だが、なにか情報を付け足す余地のある質問の種類と、そのときの望ましい回答方針について考察してみます。

1. 情報源に回答が明記されている

まず、「わからない」ではなく「わかる」場合について考えてみます。
「わかる」場合の代表例は、質問とほぼ同じ表現が情報源で使われている、つまり、回答がほぼそのまま情報源に明記されている場合です。

例を示します。

• 情報源: 洗濯機のメンテナンス方法。洗濯機本体の表面は柔らかい布で拭くこと
• 質問: 洗濯機の表面を柔らかい布で拭いていいでしょうか？

上記では質問と情報源でほぼ同じ表現が使われており、回答はほぼ自明に「はい」です。
一応、情報源では「洗濯機本体の表面」、質問では「洗濯機の表面」という表記ゆれがあるので、情報源の表現を引用して

• 回答: はい。洗濯機本体の表面は柔らかい布で拭くこととマニュアルに書かれています

と、正確な引用を添えてあげると、万が一、ユーザが「洗濯機の表面」を別の意味で使っていた場合に、勘違いに気づかせることができるのでよいです。

以下も、回答が明記されているとみなしてよいケースです。

• 情報源: 田中さんは1845年生まれです。電磁気学の分野で業績を残しています。
• 質問: 田中さんの生まれ年は？

この場合は、シンプルに回答を抜き出して、

• 回答: 1845年です。

くらいに答えておけばよいでしょう。

2. 簡易な推論で回答可能

次もほぼ「わかる」のケースです。以下の例を考えます。

• 情報源: 田中さんは1845年生まれです。電磁気学の分野で業績を残しています。
• 質問: 田中さんは物理を学んでいますか？

上記では情報源では田中さんは電磁気学の業績があると述べ、質問では物理を学んでいるかどうか聞いています。厳密に考えると、「物理を学んでいる」と情報源に明記されているわけではないのですが、電磁気学は物理のいち分野ですし、そこで業績を残していることから、物理を学んでいることはほぼ自明に推論できます。よって、厳密に考えると回答が情報源に明記されていないため「わからない」が、情報源に一般常識レベルの知識補完や推論を加えることで回答可能なケースといえます。

このケースでは、「はい」とただ回答だけを述べるよりも、事実と主張を併記したほうがより誠実であり、質問者にとって親切です。そこで例えば

• 回答: はい。田中さんは電磁気学の分野で業績を残していますので、物理を学んでいると言えます。

のような回答が考えられます。

他の例を示します。

• 情報源: 田中さんは1845年生まれです。没年は1928年です。電磁気学の分野で業績を残しています。
• 質問: 田中さんの没年齢はいくつですか？

この例では、没年齢は直接情報源に書かれていませんが、生まれ年と没年が書かれていますので、簡易な推論（計算）によって回答可能です。単に計算結果だけ回答しても良いですが、間違う可能性もあるので、事実と主張を分けて書くという方針を踏襲し、例えば以下のように回答するほうがよいかもしれません。

• 回答: 情報源によれば田中さんの生年と没年はそれぞれ1845年、1928年です。よって田中さんの没年は1928-1845=83歳です。

主張（推論）部分は、計算式を書くのは細かすぎるので、単に83歳ですとだけ書くのもありかもしれません。このあたりはバリエーションがあると思います。

3. 前提条件の追加によって回答可能

ここから「分からない」の度合いが徐々に高まってきます。
３つめは一般常識で補完が難しい程度に質問あるいは情報源の内容が不足しているが、適切な前提条件の追加によって、ある程度、妥当な回答ができるケースです。

例を示します。

• 情報源: 洗濯機のメンテナンス方法。洗濯機本体の表面は柔らかい布で拭くこと
• 質問: 洗濯機を商品Aで拭いていいでしょうか？

商品Aはそこまでメジャーでない商品の固有名詞とします。この場合、商品Aの素材がわからないため、回答不能です。
この場合、王道の方法の一つは聞き返すことです。例えば以下のように。

• 回答: 商品Aの知識がないため回答が難しいです。商品Aは柔らかい布でしょうか？

ポイントとして、聞き返す理由（今回は「商品Aの知識がない」）も添えてあげると、単に質問を返されるだけよりも、質問者が答えやすいと思います。あるいは、情報源の知識を使って以下のように書くのもありです。

• 回答: 情報源には、洗濯機本体の表面は柔らかい布で拭くことと書かれています。商品Aは柔らかい布でしょうか？

一方で、聞き返すと質問者に追加の情報を入力する手間が発生しますので、今回くらいシンプルな質問であれば、前提条件を提示した上で回答してしまうのもありだと思います。

• 回答: 情報源には、洗濯機本体の表面は柔らかい布で拭くことと書かれています。したがって、商品Aが柔らかい布であれば、拭くことができます。

提示している情報の量はほぼ同じですので、聞き返すか聞き返さないかは好みの範囲かと思います。ただ、会話のターンが無駄に増えると質問者の負担になるのと、質問者が想定通りの追加情報をくれず会話が発散する可能性も多少ありますので、今回くらいシンプルなケースであれば、個人的には、前提条件付きで回答してしまうことをおすすめします。

ちなみに、1で、質問と情報源の表現に揺れがあった場合に、情報源の表現を引用して回答に含めるというテクニックを紹介しましたが、これも広義には、前提条件の追加です。質問の表現が情報源の表現と同一であるという前提を追加していることになるからです。

4. 回答が難しいが、どこまでわかったかを伝える意義がある

簡単な知識補完や追加条件の設定だけでは回答を導くことが難しいが、現状わかっている内容を伝えることに意義があるケースがあります。例を示します。

• 情報源: 洗濯機のメンテナンス方法。洗濯機本体の表面は柔らかい布で拭くこと
• 質問: 洗濯機の本体を拭いた後はどうしたらいいですか？

情報源は拭いたあとの手順に関する記述がないため回答が難しいです。しかし、情報源は通常、ベクトル検索等で取得された検索結果でしょうから、そこに回答が含まれないということは、拭いたあとの手順はそもそもドキュメントのどこを探しても存在しない可能性があります。もしそうであれば「本体を拭いた後の手順はありません」と回答するのが適切です。しかし、検索に失敗しているだけの可能性もあるため、そこまで言い切ってしまうこともリスクがあります。

このような場合には、情報源の内容を要約して併記し「ここまでは書かれている」ということを質問者に知らせることで、単に「わからない」とだけ書くよりは質問者の利益になる可能性が高いです。例えば以下のような回答例が考えられます。

• 回答: 検索結果には洗濯機本体の表面は柔らかい布で拭くことと書かれていますが、それ以降の手順については書かれていませんでした。

このように書くと、回答としては明言を避けつつも、質問者の背景知識によっては「拭いた後は何もしなくていいってことなのかな？」」と解釈してもらえるかもしれません。なお、「システムが参照したのは検索結果である」という前提が質問者と共有されていたほうが回答内容の意図が伝わりやすいため「情報源」を「検索結果」に言い換えています。

質問と情報源の内容のズレが大きいときも基本的には同様の方針で回答しておくと良いと思います。例えば

• 情報源: 洗濯機のメンテナンス方法。洗濯機本体の表面は柔らかい布で拭くこと
• 質問: 柔軟剤は使えますか？

に対して、以下のような回答が考えられます。

• 回答: 検索結果には、洗濯機のメンテナンス方法について書かれていましたが、柔軟剤の使用有無に関する記述は見つけられませんでした。

ポイントとして、「柔軟剤の使用有無に関する記述」と質問内容を要約して回答煮含めることで、質問意図を理解している感覚を質問者に抱かせると会話の印象が良くなると思います。

5. 事前知識で回答する

少しリスキーですが、事前知識で回答可能であれば、事前知識で答えることもありだと思います。
世で公開されている情報源あり質問応答用のプロンプトを眺めると「事前知識では回答しないでください」という指示が含まれていることがほとんどですが、2で例示した「電磁気学は物理の１分野である」みたいな推論も事前知識といえば事前知識ですし、事前知識を完全に0で質問応答することはどのみち不可能で結局、程度問題なので、多少事前知識を使ったほうが質問者の印象が良くなる場合には、使ってしまうことも個人的にはありだと思います。

例えば

• 情報源: 安全上のご注意。液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。
• 質問: この洗濯機で粉洗剤は使えますか？

というプロンプトでは、粉洗剤を使えるかどうかは情報源で言及がないので、回答不可能です。ただ一般常識としては粉洗剤は使える可能性が非常に高いです。むしろ粉洗剤が使えることが当たり前過ぎて、マニュアルにあえて書かれていない可能性すらあります。このような質問に対して「わかりません」と答えるのはシステムの能力を不当に低く見られることにつながり、かえってリスキーですらあるかもしれません。

そこで以下のような回答が考えられます。

• 回答: 情報源には液体洗剤や柔軟剤を使用するときの注意事項が書かれていますが、粉洗剤に関する情報がなく、粉洗剤の使用可否についてはわかりません。ただし、一般的には、多くの洗濯機で粉洗剤は使うことができます。

ポイントとして、まず、情報源に何が書かれていたかを伝えたうえで、質問の正確な答えはわからないと明言しています。その後、「一般的には」という前置きで、情報源に基づいていない回答であることが伝わるようにした上で、事前知識に基づく見解を述べています。プロンプトエンジニアリングによって、このレベルの回答制御ができるのであれば、事前知識で回答を補足するのは個人的にはありだと思います。

6. 回答を控える

最後に回答を控えたほうがいいケースについてです。
ドキュメントに全く無関係な質問の場合は、回答を控えるのもありだと思います。

例えば、洗濯機のドキュメントに関する質問応答の想定に対して、電子レンジに関する質問をされたとします。

• 情報源: 安全上のご注意。液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。
• 質問: レンジの掃除方法

この場合は、回答可能な質問ジャンルがシステムプロンプトなどでシステムに認識されているのであれば、それを根拠に回答を拒否するほうが、無理に情報源の解説をするよりはお互いにとって幸運かもしれません。

• 回答: 私は洗濯機のマニュアルに関して回答するアシスタントですので、レンジに関する質問は答えられません。

どの程度、ジャンルが乖離していたら回答を控えるかというのは程度問題ですが、なんとなく感覚的に自明にわかるのではという気はします。逆に言うと、完全にスコープ外の質問でない限りは、4の方針で、情報源のサマリくらいは伝えてあげるほうが親切な場合が多いと個人的には思います。

検証

最後に、上記のような気の利いた回答の出し分けが実際に可能なのか、OpenAI APIのplaygroundで簡単に検証します。

モデルはgpt-3.5-turbo、temperatureは0です。

システムプロンプト

あなたは洗濯機のマニュアルの検索アシスタントです。ユーザの質問と、マニュアルから検索した関連する可能性がある文章（情報源）をセットで提示ししますので、情報源に基づいて質問に回答してください。
回答に当たっては以下の方針を遵守してください。

1. 情報源に回答が明記されている場合
情報源に回答が明記されている場合は、回答を直接書いてください。
質問と情報源に表現の揺れがある場合は、情報源の表現を用いて言い直して回答してください。

例
- 情報源: 洗濯機のメンテナンス方法。洗濯機本体の表面は柔らかい布で拭くこと
- 質問: 洗濯機の表面を柔らかい布で拭いていいでしょうか？
- 回答: はい。洗濯機本体の表面は柔らかい布で拭くこととマニュアルに書かれています

2. 簡易な推論で回答可能な場合
情報源に回答が明記されていないが、簡易な推論で回答可能な場合は、情報源になんと書かれていたか（事実）とそこから導かれる主張（回答）を両方述べてください。

例
- 情報源: 田中さんは1845年生まれです。電磁気学の分野で業績を残しています。
- 質問: 田中さんは物理を学んでいますか？
- 回答: はい。田中さんは電磁気学の分野で業績を残していますので、物理を学んでいると言えます。

例
- 情報源: 田中さんは1845年生まれです。没年は1928年です。電磁気学の分野で業績を残しています。
- 質問: 田中さんの没年齢はいくつですか？
- 回答: 情報源によれば田中さんの生年と没年はそれぞれ1845年、1928年です。よって田中さんの没年は1928-1845=83歳です

3. 前提条件の追加によって回答可能な場合
前提条件の追加によって回答可能な場合は、情報源になんと書かれていたか（事実）と追加すべき前提条件と、導かれる主張（回答）をすべて書いてください。

- 情報源: 洗濯機のメンテナンス方法。洗濯機本体の表面は柔らかい布で拭くこと
- 質問: 洗濯機を商品Aで拭いていいでしょうか？
- 回答: 情報源には、洗濯機本体の表面は柔らかい布で拭くことと書かれています。したがって、商品Aが柔らかい布であれば、拭くことができます。

4. 回答が難しいが、どこまでわかったかを伝える意義がある
情報源や簡単な推論だけでの回答が難しい場合は、情報源に書かれていた内容（事実）と質問回答するための情報が情報源に含まれていない旨を両方書いてください。

例
- 情報源: 洗濯機のメンテナンス方法。洗濯機本体の表面は柔らかい布で拭くこと
- 質問: 洗濯機の本体を拭いた後はどうしたらいいですか？
- 回答: 検索結果には洗濯機本体の表面は柔らかい布で拭くことと書かれていますが、それ以降の手順については書かれていませんでした。

例
- 情報源: 洗濯機のメンテナンス方法。洗濯機本体の表面は柔らかい布で拭くこと
- 質問: 柔軟剤は使えますか？
- 回答: 検索結果には、洗濯機のメンテナンス方法について書かれていましたが、柔軟剤の使用有無に関する記述は見つけられませんでした。

5. 事前知識で回答可能な場合
情報源に基づいての回答が難しいが、一般常識レベルの情報を添えることが質問者に有益な可能性が高い場合は、情報源に書かれていた内容と、それだけでは回答が難しいことをまず書き、その後、情報源に基づいていないことを前置きした上で、あなたの知識を回答してください。

- 情報源: 安全上のご注意。液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。
- 質問: この洗濯機で粉洗剤は使えますか？
- 回答: 情報源には液体洗剤や柔軟剤を使用するときの注意事項が書かれていますが、粉洗剤に関する情報がなく、粉洗剤の使用可否についてはわかりません。ただし、一般的には、多くの洗濯機で粉洗剤は使うことができます。

6. 対応不可の質問の場合
あなたは洗濯機のマニュアルの検索アシスタントですので、洗濯機以外の質問には回答を控えてください。

- 情報源: 安全上のご注意。液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。
- 質問: レンジの掃除方法
- 回答: 私は洗濯機のマニュアルに関して回答するアシスタントですので、レンジに関する質問は答えられません。

次に与える情報源と質問のペアが上記1から6のどのケースに該当するか考え、適切なスタイルの回答を出力してください。

ユーザプロンプトで情報源と質問を与えて回答が期待通りになるか確かめます。各パターンについて4つの質問を作って回答を◯△✗を主観で評価します。4つの質問のうち２つは安全上のご注意の文章を情報源、残りは操作方法の文章を情報源としています。1から6のパターンはさほどMECEでないので、このパターン自体は間違っていたとしても、主観的にまともな回答であれば◯とします。許容範囲だけれども余計な情報や本筋に関係ない不正確な情報が含まれるものは△とします。回答になっていないものや本筋に関して不正確な表現があれば✗とします。
なおシステムプロンプト及び以降で使われている情報源の文章はChatGPTに生成させた適当な文章です。

1. 情報源に回答が明記されている場合

◯４でした。質問と情報源にほぼ同じ語彙で記述がある場合には、回答の難易度も低く、安定して回答できるといえそうです。

以下、詳細です。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: 長い間使わない場合はどうしたらいいですか？
- 回答:

情報源によれば、長時間放置する際は、電源プラグをコンセントから抜くようにと書かれています。したがって、長い間使わない場合は、電源プラグを抜いておくことが推奨されています。

◯です。質問を肯定する回答であればOKです。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: 洗剤投入口に直接液体を注いでいいですか？
- 回答:

いいえ。情報源によれば、液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでくださいと書かれています。

◯です。質問を否定する回答であればOKです。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: 洗濯が終了したら何をすべきですか？
- 回答:

洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。情報源には、洗濯が終了した後の手順として、電源プラグを抜くことと、通気を促すために扉を少し開けることが書かれています。

◯です。「洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします」に相当する内容の回答であればOKです。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: 柔軟剤は洗剤投入口に投入できますか？
- 回答:

はい、情報源によれば洗剤投入口に洗剤と柔軟剤を正しく投入するように指示されています。専用のカップを使用する場合は、指示に従って量を測ってください。

◯です。質問を肯定する回答であればOKです。「専用のカップを使用する場合は、指示に従って量を測ってください。」の情報は多少余計ですが、完全に余計というほどでもないので、◯です。

2. 簡易な推論で回答可能な場合

◯2△1✗1でした。ChatGPTのYesマン傾向が悪さをしていそうです。また断定すべきでない主張を断定的に述べることがあり、プロンプトの工夫の余地があります。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: 短期間放置するときに電源をコンセントから抜くべきですか？
- 回答:

はい、情報源によれば、長時間放置する際には電源プラグをコンセントから抜くようにと書かれています。したがって、短期間放置する場合でも、電源をコンセントから抜くことが推奨されています。

✗です。質問を否定する回答が想定回答です。情報源のうち引用すべき文章だけは正しいです。ChatGPTには、Yes/No質問にYesと答えやすい傾向があるので、「はい」ととりあえず答えてしまい、辻褄が合うように後ろの文章を繋げた可能性が高いです。対話コミュニケーションとしての快適さは多少損なわれますが、理由（根拠）のあとに結論を述べるように強制したほうがよいかもしれません。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: 電源を入れたままメンテナンスをしてもよいですか？
- 回答:

情報源によれば、メンテナンスを行う際には電源を遮断することが推奨されています。したがって、電源を入れたままメンテナンスを行うことは避けるべきです。

◯です。Noが想定回答です。「電源を遮断した状態で、本機のメンテナンスを行ってください」という事実から「電源を入れたままメンテナンスをすべきでない」という推論ができています。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: 洗濯が終了したらすぐに洗濯物を取り出して良いですか？
- 回答:

情報源によれば、洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出すことが推奨されています。また、扉を少し開けて通気を促すこともおすすめされています。したがって、洗濯が終了したらすぐに洗濯物を取り出すことは避けるべきです。

◯です。洗濯物を取り出す前に電源プラグを抜くべきなので、Noが想定回答です。「また、扉を少し開けて通気を促すこともおすすめされています。」は情報としては余計ですが、完全に無関係というほどでもないので、◯です。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: 洗剤投入口に液体洗剤を投入して良いですか？
- 回答:

はい。情報源によれば、洗剤投入口に洗剤と柔軟剤を正しく投入するように指示されています。したがって、液体洗剤を洗剤投入口に投入することは問題ありません。

△です。洗剤は洗剤投入口に投入可能ですが、液体洗剤が投入可能かは不明なので、言い切るのはリスキーで、「液体洗剤は投入可能と思われます」くらいの表現をすることが想定回答です。ただ情報源だけ読むと、断定したくなる気持ちもわかるので、微妙なところです。そもそも情報源の文章の質が低かったかもしれません。

3. 前提条件の追加によって回答可能な場合

◯1△1✗2でした。知識や情報不足なところを、エクスキューズなしに、断定的に知識保管して回答してしまう傾向が見られます。情報不足であることにより敏感になり、断定を避けるための工夫の余地があります。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: サファイア洗剤を洗剤投入口に直接注いでいいですか？
- 回答:

情報源によれば、液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでくださいと書かれています。したがって、サファイア洗剤を洗剤投入口に直接注ぐことは避けるべきです。

✗です。「サファイア洗剤が液体であればNo」などが想定回答です。「サファイア洗剤」に関する知識をChatGPTは持っていないはずなので、断定してはいけないのですが、回答ではそれが液体洗剤であると決めつけて断定口調で答えてしまっています。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: 洗濯機のメンテナンスをしてもいいですか？
- 回答:

はい、情報源によれば洗濯機のメンテナンスを行う際には、以下の注意事項を守る必要があります。
1. 電源を遮断した状態でメンテナンスを行うこと。
2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入すること。洗剤投入口に直接液体を注がないこと。
3. 長時間放置する際は、電源プラグを抜くこと。
4. 水漏れや異常な挙動を感じた場合は、すぐに使用を中止し、取扱説明書を参照し、サービスセンターに連絡すること。

したがって、これらの注意事項を守りながら洗濯機のメンテナンスを行ってください。

△です。「電源を遮断した状態であればメンテナンスできます」などが想定回答です。したがって必要な情報自体は含まれているのですが、メンテナンスと関係ない無関係な文章が多く続きすぎています。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: シーツを３枚一気に洗えますか？
- 回答:

情報源には、洗濯物を適切にセットする際に過剰な量を詰め込まないように注意するように書かれています。したがって、シーツを３枚一気に洗うことは推奨されていません。

✗です。シーツ３枚が「過剰な量」に該当するか不明なので、そのことに言及のうえ、「シーツ３枚は一気に洗わないほうがよいと思われます」くらいの語尾がベターです。ただ、シーツ３枚は常識的には過剰な量な気もするのでその意味では◯よりの△です。質問が微妙だったかもしれません。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: 洗濯の途中で設定を変えたいのですが、一番右側の赤いボタンを押せばよいでしょうか？
- 回答:

情報源によれば、洗濯の途中で設定を変更したい場合は、一時停止ボタンを押してから変更するように指示されています。赤いボタンが一時停止ボタンであるかどうかは情報源には書かれていませんので、赤いボタンが一時停止ボタンであるかどうかはわかりません。洗濯機の操作パネルやマニュアルを参照して、一時停止ボタンがどのボタンか確認してください。

◯です。必要な情報を引用した上で、赤いボタンが一時停止ボタンかどうかわからないことをきちんと言及しています。

4. 回答が難しいが、どこまでわかったかを伝える意義がある

◯2✗2でした。情報の引用は正確にできていますが「わからない」と明確に言わないケースが多かったです。「情報の引用」「回答が不明であること」の２点を両方言えるようにするためのプロンプトの工夫の余地があります。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: 1ヶ月間家を空けるのですが、電源を抜いたほうが良いでしょうか？
- 回答:

情報源によれば、長時間放置する際は電源プラグを抜くことが推奨されています。したがって、1ヶ月間家を空ける場合は、電源を抜いたほうが良いと言えます。

✗です。「長期間」の具体的な基準が不明なことに言及した上で、断定は避けるべきです。一般的には１ヶ月は長期間と言えそうなので、多少、質問も微妙だったかもしれません。ただ追加で検証したところ、「１ヶ月間」を「数時間」に変えても、電源を抜いたほうがいいと述べており、意味がわかってなさそうなので、断定口調は避けるほうがよいです。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: メンテナンス時、水道の元栓は締めたほうがいいですか？
- 回答:

情報源には、電源を遮断することや洗剤の投入方法などの注意事項が書かれていますが、水道の元栓に関する記述は見つけられませんでした。したがって、メンテナンス時に水道の元栓を締める必要があるかどうかについては、情報源からは判断できません。ただし、一般的には、メンテナンス時には水道の元栓を締めることが推奨される場合があります。メンテナンス作業によって水漏れが発生する可能性があるため、安全のために水道の元栓を閉めることが望ましいです。

◯です。適切な文章を引用し、質問の回答が情報源からでは判断できないことを述べています。末尾に事前知識に基づく情報を加えてしまっていますが、「一般的には」と前置きしているので、問題ありません。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: シーツを洗いたいのですが、どの洗濯プログラムを選べばいいですか？
- 回答:

情報源によれば、洗濯プログラムを選ぶ際には洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。シーツを洗う場合、通常は「ノーマル」や「コットン」などの一般的なプログラムを選ぶことができます。ただし、具体的な洗濯機のモデルやブランドによって異なる場合がありますので、洗濯機のマニュアルを参照してください。

✗です。「シーツを洗う場合にどのプログラムを選べばよいかは不明です」のような文章があることが望ましいです。
「通常は「ノーマル」や「コットン」などの一般的なプログラムを選ぶことができます。」の部分も情報源に基づかない回答であることがわかりにくいです。質問対象の洗濯機にそのような機能があると誤解を与える可能性が高いので、厳し目に✗です。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: 洗濯にどのくらい時間がかかりますか？
- 回答:

情報源には洗濯についての操作方法が書かれていますが、洗濯にかかる時間に関する記述は見つけられませんでした。洗濯にかかる時間は洗濯機の機種や選択した洗濯プログラムによって異なる場合があります。洗濯機の表示パネルや取扱説明書に時間の目安が記載されているか、または洗濯機のメーカーやモデルに関する情報を確認することをおすすめします。

◯です。情報源に書かれていること、その情報だけでは回答できないこと、が言えています。その後の文章も気になるほど余計ではありません。

5. 事前知識で回答可能な場合

◯1△2✗1でした。4に引き続き「情報源だけでは回答が不明なこと」を明記してくれないことが多いです。また事前知識に基づいて答えるときに、それが事前知識であることを明確に言わないことがあります。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: 洗濯機が発熱しているのですがどうしたらいいですか？
- 回答:

情報源には、洗濯機のメンテナンスに関する注意事項が書かれていますが、洗濯機が発熱している場合の具体的な対処方法については記載されていません。洗濯機が発熱している場合は、取扱説明書を参照し、サービスセンターにご連絡いただくことをおすすめします。

△です。「洗濯機が発熱している場合は、取扱説明書を参照し、サービスセンターにご連絡いただくことをおすすめします。」の部分が事前知識なのかどうかわかりにくいです。ちゃんと読めば情報源に基づいていない確率が高そうであることはわかるのですが、誤解を与える可能性もままあると想定されるので、厳し目の△です。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: おむつは洗えますか？
- 回答:

検索結果には、洗濯機の安全上のご注意事項が書かれていますが、おむつに関する情報は見つかりませんでした。おむつは洗濯機で洗うことができる場合とできない場合がありますので、洗濯機の取扱説明書を参照するか、メーカーにお問い合わせいただくことをおすすめします。

△です。「おむつは洗濯機で洗うことができる場合とできない場合がありますので、」以降が事前知識ですが、事前知識なのかどうかわかりにくいです。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: 洗濯槽に服をぎゅうぎゅうにつめてもいいですか？
- 回答:

いいえ。情報源によれば、過剰な量を詰め込まないように注意するように書かれています。洗濯槽に服をぎゅうぎゅうに詰め込むことは避けるべきです。

✗です。「過剰な量」の定義が曖昧なので、断定口調は避けるべきです。ただぎゅうぎゅう＝過剰、と推定する気持ちはわかります。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: 洗濯後、扉を開けて何時間くらい乾かしたらいいですか？
- 回答:

情報源には、洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめしますと書かれていますが、具体的な乾燥時間についての記述はありません。洗濯物の乾燥時間は、洗濯物の種類や量、室温や湿度などの条件によって異なるため、一概には言えません。一般的には、洗濯物を風通しの良い場所に干して、乾燥するまでの時間を確認することをおすすめします。

◯です。情報源の引用と、質問への回答が不明なこと、事前知識も「一般的には」という語彙を使ってわかりやすくなっています。欲を言えば「洗濯物の乾燥時間は、洗濯物の種類や量、室温や湿度などの条件によって異なるため、一概には言えません。」の部分も事前知識であるともっとわかりやすくしたいですが、断定している文章ではないためおまけでセーフとします。

6. 対応不可の質問の場合

◯4です。5までで回答の拒否が発生しなかったことと合わせて、回答を拒否すべき質問の判断はかなり正確でした。ただ、ChatGPTは末尾の記述に忠実になりやすい傾向があるため、6が遵守されやすかった可能性もあります。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: 日本で一番高い山は？
- 回答:

私は洗濯機のマニュアルの検索アシスタントですので、山に関する質問には回答を控えさせていただきます。申し訳ありません。

◯です。

ユーザープロンプト

- 情報源: 安全上のご注意\n1. 電源プラグを抜く、またはブレーカーを切るなど、電源を遮断した状態で、本機のメンテナンスを行ってください。\n2. 液体洗剤や柔軟剤を使用する際には、指示に従って正しく投入してください。洗剤投入口に直接液体を注がないでください。\n3. 長時間放置する際は、電源プラグをコンセントから抜いてください。\n4. 水漏れや異常な挙動を感じた場合、すぐに使用を中止し、取扱説明書を参照し、サービスセンターにご連絡ください。
- 質問: 暖房の調子が悪いです。
- 回答:

私は洗濯機のマニュアルの検索アシスタントですので、暖房に関する質問には回答できません。申し訳ありませんが、他のご質問がありましたらお答えいたします。

◯です。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: 人生相談にのってもらえませんか？
- 回答:

私は洗濯機のマニュアルの検索アシスタントですので、人生相談には回答できません。洗濯機の操作方法に関する質問があればお答えしますので、どうぞお気軽にお尋ねください。

◯です。

ユーザープロンプト

- 情報源: 操作方法\n1. 扉を開け、洗濯物を適切にセットしてください。過剰な量を詰め込まないように注意してください。\n2. 洗剤投入口に洗剤と柔軟剤を正しく投入してください。専用のカップを使用する場合は、指示に従って量を測ってください。\n3. 洗濯プログラムを選択してください。洗濯物の種類や量に合わせて適切なプログラムを選ぶことが重要です。\n4. 開始ボタンを押して洗濯サイクルを開始してください。途中で設定を変更したい場合は、一時停止ボタンを押してから変更してください。\n5. 洗濯が終了したら、電源プラグを抜いてから洗濯物を取り出してください。扉を少し開けて通気を促すことをおすすめします。
- 質問: 氷が作れません
- 回答:

私は洗濯機のマニュアルの検索アシスタントですので、氷が作れないという質問には回答できません。別の質問があればお答えいたします。

◯です。

総評

結果を表にまとめます。重み付き和は◯、△、✗をそれぞれ1、0.5、0点としたときの合計点です。

ケース	◯	△	✗	重み付き和
1. 情報源に回答が明記されている場合	4	0	0	4
2. 簡易な推論で回答可能な場合	2	1	1	2.5
3. 前提条件の追加によって回答可能な場合	1	1	2	1.5
4. 回答が難しいが、どこまでわかったかを伝える意義がある	2	0	2	2
5. 事前知識で回答可能な場合	1	2	1	2
6. 対応不可の質問の場合	4	0	0	4
合計	14	4	6	16

合計の重み付き和が16点で、最大24点なので割合で67%です。ただ比較的簡単なケース1と6で◯を稼いでいるので、ケース2から５に限ると6/16=38%です。
今回のプロンプトはとりあえず作った感じなので改良の余地があります。ポイントとしては

• Yesマンを減らす
• 断定口調を減らす
• 関連する情報を引用しつつ、合わせて「わからない」と言う
• 情報源に基づかない事前知識を述べるときは、情報源に基づかないことを明記する

あたりになりそうです。

質問のバリエーションは不十分であり、また、あまりリアリティの高い質問でもなかったので、ユースケースに応じて改良の余地があります。
ケース1から5はあまりMECEでなく、回答の方針も「情報源の要約」「主張」「必要に応じて事前知識による補足」という感じでほぼ共通しているので、まとめてしまったほうがプロンプトがシンプルになって良いかもしれません。

今回、情報源は各質問につき１つだけでしたが、実際の検索拡張質問応答タスクでは情報源が複数得られますので、回答中のどの文章がどの情報源に基づいているのかを把握した上で情報提供する必要があります。それをするためのプロンプトの工夫については今後の課題です。

おわりに

現実の質問応答タスクでは、情報源に厳密に基づくと回答不能な質問がほとんどのため、「わからない」以外にどのような情報を質問者に提示すべきかについて整理をしました。回答の方針としては「情報源の提示」「情報から導かれる主張（分からないを含む）の提示」「必要に応じて事前知識に基づく回答の補足」という流れがよいのではと考えましたが、この妥当性については、実際に質問応答の事例を積み重ねていくこと、今後検証できればと思います。

先行事例は深く調査できていないので、類似の研究や改良点などあれば、ご指摘いただけると嬉しいです。