はじめに
GenU (Generative AI Use Cases JP) で、RAG チャットを利用しているときに、理想の回答が生成されない場面に遭遇する場合があります。いきなり最初から精度 100 % の回答を目指すのは難しく、良くない回答が得られた際に、内容を確認しながら改善する取り組みが必要です。
今回の記事では、何が原因となっているのか深ぼる方法を簡単に紹介します。
見るべき観点
GenU で RAG チャットを利用するときに、見る観点は大きく 3 つあります。この 3 つを確認したあとに、その後の改善アクションに結び付けると良いでしょう。
- Kendra に、どういったクエリーを実行しているのか？
- Kendra から、どういったデータを取得しているのか？
- どういう回答が理想の回答なのか？そのギャップは？
GenU の RAG の構成を、ざっくり図で示すとこんなかんじです。
「2. Kendra のクエリーを生成してください」の部分で、Kendra へのクエリー文章を生成しています。これが、どんなクエリーが生成されているのかを確認すると良いです。
「5. 関連ドキュメント」の部分では、Amazon Kendra から検索して取得してきた一部のドキュメントを取得します。取得してきているドキュメントを基に回答をします。別の表現をすると、取得できていなかったドキュメントは回答に使われません。
「7. 回答を生成」の部分で、理想の回答と、実際の回答のギャップを確認します。このギャップを基に、データをどのように準備するべきか具体的な改善のアクションに結び付けられます。
以下のリンクをクリックすると、GenU の GitHub 上で具体的なプロンプトを確認できるので、興味があれば見てみてください。
Tips : Knowledge Bases の場合
RAG チャットは Kendra ベースのものに加えて、Knowledge Base ベースのものも利用できるようになっています。この場合、RAG の構成が異なり、確認観点が 1 個減ります。
Kendra の場合は、Kendra にクエリーする文字列を Bedrock で生成していましたが、Knowledge Bases の場合は、直接利用している違いがあります。ただ、本質的な考え方は同じで、どんなデータがかえって来ているのか、理想の回答とのギャップを確認して、具体的な改善の行動につなげていきます。
観点を確認する方法
Chrome を利用した手順を記載します。Firefox などでもたぶん似たようなことが出来るはずです。
まず、Chrome で RAG の画面を開いたあとに、Developer Tools を開きます。
こんな感じで、Network のタブを表示します。
質問を投げます。
すると、Kendra に Query するための「クエリー文字列」を生成する predict を呼んでいることが確認できます。
確認ポイント 1 個目です。
この Response が「出張時の日当の金額」と確認できます。これが Kendra のクエリーに使われます。
確認ポイント2 個目です。
次に Kendra へクエリーした結果、取得した関連ドキュメントについて確認します。retrieve 呼び出しのところで、Preview を開きます。「第 11 条 出張者が...」 と見えているのが、Kendra から取得してきた関連していると思われるドキュメントの一部です。
取得している複数のデータを取り出していますので、これをすべて確認しましょう。回答してほしい理想の回答とギャップがあるときに、そもそも Kendra からデータが取得が出来ていない可能性も十分に考えられます。
改善のためのアクション
上記の確認ポイント 1 と確認ポイント 2 を取得したうえで、理想の回答と実際の回答のギャップを確認しながら改善のアクションを検討していきます。
この記事では詳細はとりあげませんが、クラメソ様の記事がわかりやすいので、このあたりを参考にしてみてください。