はじめに
UiPath Autopilot for TestersでRAGを活用したテストケースの自動生成が可能になりました。本ブログでは、その利用方法を解説したいと思います。RAGを利用して、インデックス付き参照から詳細を引き出すことで、より正確なテストを生成できる！と言うことですね。今回の解説部分は、下図の赤枠部分です。
UiPath Autopilot for Testers全体の解説は下記のブログをご参照ください。
UiPath Autopilot for Testersのチュートリアルです。テスト生成については従来方式で記載されてます。
APIテスト自動化のチュートリアルも掲載しています。テスト生成が従来方式で記載されてますが、本ブログのRAG方式に置き換えても可能かと思います。
手順❶：RAGでテスト生成出来る様に準備する
テストケースを生成するドキュメントをストレージバケットにアップロードして、インデックス作成を指示するだけで、簡単に準備できます。
ストレージバケットにドキュメントをアップロードする
【手順】
「Orchestrator」>アップロードするフォルダーを選ぶ>「ストレージバケット」>「+ストレージバケットを追加」>「新しいストレージバケットを作成」
①任意の名前を入力
②「追加」クリック
③バケットを選択>「新しいファイルをアップロード」
④アップロード先ファイルのフルパスを設定
⑤「アップロード」クリック
参考）
ここでは例として、下記の様なローン審査の仕様が書かれたドキュメントをアップロードしました。
コンテキストグランディングでインデックスを作成する
【手順】
「管理」>「AI Trust Layer」>「コンテキストグランディング」タブ>対象のテナント選択>ストレージバケットののフォルダー選択>「新規追加」
①任意の「インデックス名」を入力
②任意で「説明」を入力
③「ストレージバケット」を選択
④「Orchestratorのフォルダー」を選択
⑤ファイルを格納した「ストレージバケット」を選択
⑥「ファイルの種類」を選択
⑦「今すぐ同期」クリック
手順❷：RAGを活用してテストケースを生成する
テストを生成する際にRAG活用が選択できるようになってます。RAG活用を選択した上で、前述のフォルダーとインデックスを参照先として指定します。従来方式のオペレーションと違う点は、ここだけです。
テスト生成のためのドキュメント参照先を選択する
【手順】
Test Managerで対象のプロジェクトに入る>「要件」>対象の要件を選択>「テストを生成」>「RAG (検索拡張生成) を活用」タブ
①ドキュメントをアップロードしたOrchestratorのフォルダーを選択
②作成したインデックスを選択
③「結果の数」にはAutopilotで生成するテストの数を入力
④「次へ」クリック
テストケースの生成を実行する
【手順】
①任意のプロンプトを選択
②必要に応じてプロンプトを修正
③「テストを生成」クリック
テスト生成結果
下図の様に境界値のテストケースが抽出されました。
テストケースを展開すると、下図の様にテスト手順も作成されてます。
試しに既定のプロンプトで境界値テストを抽出させましたが、ローン審査機能だけではなく全機能のドキュメントをアップロードした場合、明確に、どの機能の境界値テストか指定する必要があると思います。テスト生成を実行する際のプロンプトで明示的に指定すると良いでしょう。
おわりに
従来の方式と比較し、ストレージバケットへのドキュメントアップロードやインデックス作成の手間、ドキュメント管理・運用の手間は増えますが、精度はRAG活用の方が良い様です。UiPath Autopilot for Testersは、どんどん出来ることが増えてきているので、今後さらにQCD向上のための活用が期待できそうです！