先ず、3rd ParthのLLMによるRAGのための検証データを作成しました。
https://qiita.com/yono1o12/items/01fc190c1facc65b9b76
次に、3rd PartyのLLMに対して、プロンプトテンプレートをWatsonx.governance上でモデル本体から切り離して(detached)登録・評価できるようにしました。
https://qiita.com/yono1o12/items/1299c718dd4d089ef449
今回は、検証データを利用して、watsonx上で3rd partyのLLMよるRAGを検証します。
Excelで中身確認すると、Context、質問、回答、生成された回答の4つが含まれた検証データであることを確認できる(UTF-8なので文字化けしているのはスルーでOK)。
作成したプロンプトテンプレートからEvalute(検証)へ。
Questionにquestion、Contextにcontext、プロンプトテンプレートの引数をそれぞれ選択。
検証データをUploadして、検証データの列名をそれぞれ選択。参照出力は検証データのなかにあるAnswer(正解となる回答)を選択する。