弊社人事部門から、就業規則や旅費規程に関する問い合わせが多く、効率化できないかとの相談があり、始めたこのwatsonx Orchestrate Agent Client0タスクですが、どうしても適切な回答が返ってこないケースがあります。（その１のブログはこちら）
旅費規程は出張精算をする場合に職位によって手当の金額が異なる規定となっていますが、それが適切に回答されないのです。RAGをしているファイル（国内旅費規程.pdf）には記載があるのですが、それを読んでくることができないのですね。
国内旅費規程.pdfの構造
文章の章立て構造は以下のようになっています（目次のサマリ）
具体的には、「付則 別表１ 日当および宿泊料上限」に出張手当の金額が書かれており、それを読んでくることができないということです。
文章構造の変更を試してみる
文面は同じ以下２種類の国内旅費規程を用意しました。
①従来通りのもの「人事お助けAgent2号」
②「第２章 出張旅費」の終わりに別表１ 日当および宿泊料上限を付則から移動したもの「人事お助けAgent1号」
構造変更後
また、具体的な日当および宿泊料上限は以下のような表形式で記述されています
問い合わせを実行してレスポンスを確認
それぞれAgentにRAGさせ、問い合わせを実行すると以下のレスポンスです。
①従来の国内旅費規程の場合
「私は部長です。出張手当の金額を教えて」と尋ねました。
②構造変更した国内旅費規程の場合
同じ問いをします。
Trace Detail(Public Preview)を確認してみる
確信度の状態を見てみます。おそらく、国内旅費規程の文面を読んではみたものの回答に至らない判断から、①の場合はwxOが理解できない結果となっていそうです。
response confidenceは0.11で、下の行のresponse confidence thresholdの0.15を下回っているので、適切な回答ができない結果となっている様子ですし、search_resultsを確認すると付則の日当および宿泊料上限の内容は存在しません。
一方で、②のTrace Detailです
response confidenceは0.15を超えています、また、search_resultsを確認すると付則から移動した日当および宿泊料上限の内容が存在します。
RAGで読むドキュメントの構造を変えることで、いわゆるchunkingが変わり、response confidenceを上げて、回答が返ってくる状況を作ることができました。
考察
今回の結果から考察すると、このような類の規約文は、詳細が文末に補足、amendmentで記載されているものが多いと思います
追加や変更が生じるケースに対応するためだと思いますが、Agentに対応させるためにはこういったコンテンツ側に「AIに読ませる工夫」が必要と考えます。
補足
トピックからは外れますが、上記問い合わせの文言でお気づきの方もいらっしゃるかもしれません。
通常、我々社員は出張手当という言葉を使っています、しかしながら国内旅費規程上、日当と書かれています
（つまり普段は日当という言葉は飛び交いません）、ということで言い換えの宣言はBehaviorにて記述し、ユーザーに寄り添う！！形にしています。
「出張手当の金額を聞かれたら日当の金額を回答してください。」と加えてあげるとすんなり回答してくれました。