現在、Qiita Advent Calendar 2025を完走するため猪突猛進しております
12月25日まで、エッホエッホ 
はじめに
みなさん、IBM Videoというサイトをご存知でしょうか？
IBMが提供する製品をショート動画でわかりやすくご紹介している動画サイトです。
- スキルアップしたくてもなかなか時間が取れない
- 気になる製品があるけど、マニュアルを読んで理解するのはきつい
- 製品の特徴やメリットをクイックに知りたい
という方には、うってつけの動画を提供するサイトです。
興味のある方はぜひご覧いただければと思います。
今回ご紹介する動画へのリンク
【watsonx.governance】RAGの性能評価してみた
概要
本動画デモでは、IBM watsonx.governance を活用して、RAG（Retrieval-Augmented Generation）における生成回答の性能評価を行うプロセスを紹介しています。watsonx 製品群には watsonx.ai / watsonx.data / watsonx.governance があり、その中でも Governance は「信頼できるAI構築」を支援する機能を提供します。本デモでは、その機能の一つである 生成結果の定量評価（ROUGE 指標による評価） の流れを確認することができます。
デモの流れと特徴
-
プロジェクトの選択
watsonx のホーム画面から対象プロジェクトを開き、評価準備を開始します。 -
外部プロンプトテンプレートの作成
- タスクタイプとして「検索拡張生成（RAG）」を選択
- プロンプトを入力し、プロンプトバリアブル（context / question）を設定
- テンプレートを作成して評価準備を完了します。
-
評価データのアップロードと実行
- 言語設定を「日本語」に変更
- 作成したデータセットを参照データとしてアップロード
- Generated Text と Reference Text の一致度を ROUGE 指標で確認できます。
-
評価結果の確認
デモでは、- 完全一致したデータ
- 類似度が高いデータ
- 類似度が低いデータ
の3種類を順次評価し、ROUGE スコアが 1.00 → 中間 → 低い値 と変化する様子を確認できます。
これにより、RAG の調整内容が生成精度にどのように影響するかを時系列で比較可能です。
まとめ
本動画では、watsonx.Governance を用いた RAG 性能評価の一連の流れをコンパクトに紹介しています。
ROUGE 指標を活用して、生成結果と模範回答の類似度を定量的に把握できるため、RAG システムの改善ポイントを効率的に検討できます。
watsonx.governance は、AI開発における「説明可能性・透明性・信頼性」を支える強力なツールであることが本デモから理解できます。
AI活用がもっと楽しくなる場所、あります！
『AIのいま』を体感したい方へ。
IBM watsonx Japan User Groupでは、watsonxの最新情報、お客様事例、ちょっと先のAIトレンドをワクワクする形で発信中。 定期イベントも開催していて、「へぇ、IBMって今そんなことをしてるんだ！」となること請け合いです。ぜひ覗いてみてください！
一緒に、AIの進化を追いかけましょう。🚀
気になる方
は、こちらをクリック
→ IBM TechXchange watsonx Japan User Group