0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

watsonx.ai & watsonx.governanceで3rd partyのLLMによるRAGを評価③

Posted at

先ず、3rd ParthのLLMによるRAGのための検証データを作成しました。
https://qiita.com/yono1o12/items/01fc190c1facc65b9b76

次に、3rd PartyのLLMに対して、プロンプトテンプレートをWatsonx.governance上でモデル本体から切り離して(detached)登録・評価できるようにしました。
https://qiita.com/yono1o12/items/1299c718dd4d089ef449

今回は、検証データを利用して、watsonx上で3rd partyのLLMよるRAGを検証します。

先ず検証データをダウンロード。
image.png

Excelで中身確認すると、Context、質問、回答、生成された回答の4つが含まれた検証データであることを確認できる(UTF-8なので文字化けしているのはスルーでOK)。
image.png

作成したプロンプトテンプレートからEvalute(検証)へ。
image.png

Questionにquestion、Contextにcontext、プロンプトテンプレートの引数をそれぞれ選択。
image.png

検証データをUploadして、検証データの列名をそれぞれ選択。参照出力は検証データのなかにあるAnswer(正解となる回答)を選択する。
image.png

評価を開始。
image.png

しばし待つ。。。
image.png

かんりょう
image.png

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?