watsonx.governanceでRAGを評価

評価用データセット

Case1：完全一致

No	Question	Context	Reference / Generated Text
1	普通預金口座の金利はどれくらいですか？	当行の普通預金口座の金利は年0.001%です。	当行の普通預金口座の金利は年0.001%です。
2	ATMの利用手数料はいつ発生しますか？	ATM利用手数料は、平日時間外および土日祝日に発生します。	ATM利用手数料は、平日時間外および土日祝日に発生します。
3	住宅ローンの返済期間は最長何年ですか？	住宅ローンの返済期間は最長35年です。	住宅ローンの返済期間は最長35年です。
4	口座を開設するには何が必要ですか？	本人確認書類と印鑑、初期預け入れ資金が必要です。	本人確認書類と印鑑、初期預け入れ資金が必要です。
5	クレジットカードの利用明細はどこで確認できますか？	インターネットバンキングまたはアプリで確認可能です。	インターネットバンキングまたはアプリで確認可能です。
6	インターネットバンキングの利用時間を教えてください。	原則24時間利用可能ですが、システムメンテナンス中は除きます。	原則24時間利用可能ですが、システムメンテナンス中は除きます。
7	定期預金の最低預入額はいくらですか？	定期預金の最低預入額は10万円です。	定期預金の最低預入額は10万円です。
8	外貨預金の為替手数料はいくらですか？	為替手数料は1ドルあたり1円です。	為替手数料は1ドルあたり1円です。
9	投資信託の購入手数料はありますか？	購入時に最大3.3%の手数料がかかります。	購入時に最大3.3%の手数料がかかります。
10	振込限度額はどこで変更できますか？	インターネットバンキングの設定画面で変更可能です。	インターネットバンキングの設定画面で変更可能です。
11	キャッシュカードを紛失した場合はどうすればいいですか？	すぐに当行まで連絡し、カードの停止手続きを行ってください。	すぐに当行まで連絡し、カードの停止手続きを行ってください。

Case2：高一致

No	Question	Context	Reference Text	Generated Text
1	普通預金口座の金利はどれくらいですか？	当行の普通預金口座の金利は年0.001%です。	当行の普通預金口座の金利は年0.001%です。	当行の普通預金金利は年率0.001%です。
2	ATMの利用手数料はいつ発生しますか？	ATM利用手数料は、平日時間外および土日祝日に発生します。	ATM利用手数料は、平日時間外および土日祝日に発生します。	ATM手数料は平日の営業時間外や土日祝日にかかります。
3	住宅ローンの返済期間は最長何年ですか？	住宅ローンの返済期間は最長35年です。	住宅ローンの返済期間は最長35年です。	住宅ローンの最長返済期間は35年です。
4	口座を開設するには何が必要ですか？	本人確認書類と印鑑、初期預け入れ資金が必要です。	本人確認書類と印鑑、初期預け入れ資金が必要です。	口座開設には本人確認書類と印鑑、初期資金が求められます。
5	クレジットカードの利用明細はどこで確認できますか？	インターネットバンキングまたはアプリで確認可能です。	インターネットバンキングまたはアプリで確認可能です。	利用明細はインターネットバンキングまたはアプリで確認できます。
6	インターネットバンキングの利用時間を教えてください。	原則24時間利用可能ですが、システムメンテナンス中は除きます。	原則24時間利用可能ですが、システムメンテナンス中は除きます。	システムメンテナンス時を除き、インターネットバンキングは基本的に24時間使えます。
7	定期預金の最低預入額はいくらですか？	定期預金の最低預入額は10万円です。	定期預金の最低預入額は10万円です。	定期預金は最低10万円から預け入れ可能です。
8	外貨預金の為替手数料はいくらですか？	為替手数料は1ドルあたり1円です。	為替手数料は1ドルあたり1円です。	1ドルあたり1円の為替手数料がかかります。
9	投資信託の購入手数料はありますか？	購入時に最大3.3%の手数料がかかります。	購入時に最大3.3%の手数料がかかります。	投資信託購入には最大3.3%の手数料が発生します。
10	振込限度額はどこで変更できますか？	インターネットバンキングの設定画面で変更可能です。	インターネットバンキングの設定画面で変更可能です。	振込限度額の変更はネットバンキングの設定から行えます。
11	キャッシュカードを紛失した場合はどうすればいいですか？	すぐに当行まで連絡し、カードの停止手続きを行ってください。	すぐに当行まで連絡し、カードの停止手続きを行ってください。	カードを紛失したら、すぐに当行に連絡して停止手続きをしてください。

Case3：低一致

No	Question	Context	Reference Text	Generated Text
1	普通預金口座の金利はどれくらいですか？	当行の普通預金口座の金利は年0.001%です。	当行の普通預金口座の金利は年0.001%です。	普通預金の口座は誰でも作れます。
2	ATMの利用手数料はいつ発生しますか？	ATM利用手数料は、平日時間外および土日祝日に発生します。	ATM利用手数料は、平日時間外および土日祝日に発生します。	ATMは全国のコンビニで利用できます。
3	住宅ローンの返済期間は最長何年ですか？	住宅ローンの返済期間は最長35年です。	住宅ローンの返済期間は最長35年です。	住宅ローンは年利2%から利用可能です。
4	口座を開設するには何が必要ですか？	本人確認書類と印鑑、初期預け入れ資金が必要です。	本人確認書類と印鑑、初期預け入れ資金が必要です。	口座開設には申し込みフォームの入力が必要です。
5	クレジットカードの利用明細はどこで確認できますか？	インターネットバンキングまたはアプリで確認可能です。	インターネットバンキングまたはアプリで確認可能です。	明細は郵送でもらえます。
6	インターネットバンキングの利用時間を教えてください。	原則24時間利用可能ですが、システムメンテナンス中は除きます。	原則24時間利用可能ですが、システムメンテナンス中は除きます。	深夜はネットバンキングが利用できないことがあります。
7	定期預金の最低預入額はいくらですか？	定期預金の最低預入額は10万円です。	定期預金の最低預入額は10万円です。	預金額に上限はありません。
8	外貨預金の為替手数料はいくらですか？	為替手数料は1ドルあたり1円です。	為替手数料は1ドルあたり1円です。	為替相場は日々変動します。
9	投資信託の購入手数料はありますか？	購入時に最大3.3%の手数料がかかります。	購入時に最大3.3%の手数料がかかります。	投資信託にはリスクがあります。
10	振込限度額はどこで変更できますか？	インターネットバンキングの設定画面で変更可能です。	インターネットバンキングの設定画面で変更可能です。	限度額の変更には本人確認が必要です。
11	キャッシュカードを紛失した場合はどうすればいいですか？	すぐに当行まで連絡し、カードの停止手続きを行ってください。	すぐに当行まで連絡し、カードの停止手続きを行ってください。	カードを使えないときはATMを利用しないでください。

Case4：不一致

No	Question	Context	Reference Text	Generated Text
1	普通預金口座の金利はどれくらいですか？	当行の普通預金口座の金利は年0.001%です。	当行の普通預金口座の金利は年0.001%です。	金利は毎月変動し、現在は2.5%です。
2	ATMの利用手数料はいつ発生しますか？	ATM利用手数料は、平日時間外および土日祝日に発生します。	ATM利用手数料は、平日時間外および土日祝日に発生します。	ATMの利用は全日無料です。
3	住宅ローンの返済期間は最長何年ですか？	住宅ローンの返済期間は最長35年です。	住宅ローンの返済期間は最長35年です。	住宅ローンは10年以内に返済が必要です。
4	口座を開設するには何が必要ですか？	本人確認書類と印鑑、初期預け入れ資金が必要です。	本人確認書類と印鑑、初期預け入れ資金が必要です。	口座開設にはパスポートとマイナンバーカードの2点が必要です。
5	クレジットカードの利用明細はどこで確認できますか？	インターネットバンキングまたはアプリで確認可能です。	インターネットバンキングまたはアプリで確認可能です。	明細は店舗に直接行って確認してください。
6	インターネットバンキングの利用時間を教えてください。	原則24時間利用可能ですが、システムメンテナンス中は除きます。	原則24時間利用可能ですが、システムメンテナンス中は除きます。	インターネットバンキングは朝9時から夕方5時までしか使えません。
7	定期預金の最低預入額はいくらですか？	定期預金の最低預入額は10万円です。	定期預金の最低預入額は10万円です。	定期預金は1円から可能です。
8	外貨預金の為替手数料はいくらですか？	為替手数料は1ドルあたり1円です。	為替手数料は1ドルあたり1円です。	為替手数料は無料です。
9	投資信託の購入手数料はありますか？	購入時に最大3.3%の手数料がかかります。	購入時に最大3.3%の手数料がかかります。	購入時に手数料は一切かかりません。
10	振込限度額はどこで変更できますか？	インターネットバンキングの設定画面で変更可能です。	インターネットバンキングの設定画面で変更可能です。	限度額は変更できません。
11	キャッシュカードを紛失した場合はどうすればいいですか？	すぐに当行まで連絡し、カードの停止手続きを行ってください。	すぐに当行まで連絡し、カードの停止手続きを行ってください。	カードを失くしたら、警察に届けてください。

Detached Prompt Templateの作成

評価

結果

ROUGE

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）は、自然言語処理において自動要約や機械翻訳の性能を評価するために使用される一連の指標およびソフトウェアパッケージです。
ROUGE-1、ROUGE-2、ROUGE-L、ROUGE-LSum などの指標は、自動生成された要約や翻訳と、人間が作成した参照要約・翻訳とを比較して評価します。
スコアは 0 から 1 の範囲で示され、値が高いほど品質が高いと判断されます。

完全一致

指定された予測文字列の完全一致スコアは、その参照文字列と完全に同じ場合は1になり、それ以外の場合は0になります。