はじめに
テストのための生成AIを搭載した「UiPath Autopilot for Testers」でAPIテストの自動化もできるので、本ブログでは、どんな手順で達成できるのか、コツの一部を補足しつつ解説します。尚、UI操作を伴うアプリテストについては、下記ブログで解説しています。
全体の流れ
本ブログで解説するのは、①テスト抽出、②テストコード生成、③実行までの流れです。いくつかの例に沿ってやって行きます。尚、テストを抽出する際のドキュメントはAPI仕様書やシーケンス図などを想定しています。
前提
- Autopilot for Testersを利用したAPIテストの公式ドキュメントがないため、著者の創造と工夫で執筆してます。今後、公式ドキュメントが公開された場合、最適解が異なる可能性があります。
- 生成AIなので日々できること、精度が進化しています。ここでの情報から、更に良い方向に変わっていくと思ってます。
本ブログでテストするWeb APIの題材
題材として使うWeb APIはUiPath Orchestrator APIです。このAPIをテストすると言った視点に立ち解説します。UiPath Orchestrator API仕様はSwaggerで調べられるので、この中からPOSTとGETのAPIを2つ利用します。
＜UiPath Orchestrator APIのSwaager＞
＜テスト対象のAPI＞
| メソッド | API名 | 説明 |
|---|---|---|
| POST | StartTestSetExecution | テストセットの実行を開始する。 |
| GET | TestSetExecutions | テストセット実行IDで識別される特定のテストセット実行情報を返す。 |
❶POSTメソッドのAPIテストをやってみる
まずは、POSTメソッドのStartTestSetExecutionのAPIテストをやってみます。
(1)準備
・API仕様書を用意する
StartTestSetExecutionのAPI仕様を適当に作成してみました。フォーマットはフリーです。テストで必要な情報が書かれている仕様書ならOKです。
ファイル名：API仕様書.xlsx
シート名：StartTestSetExecution
・APIコールで使用する設定値ファイルを用意する
APIコールで使う設定値です。環境に合わせて、変更できる様に別ファイルで定義しました。この設定値を生成AIに参照させてテスト生成してみます。
ファイル名：API共通設定値.xlsx
シート名：設定値
(2)テスト生成
・要件を作成する
下記の様に要件を登録します。ちなみに説明欄にAPI仕様など入れておくとAPI仕様書は不要です。ここは仕様の管理・運用方法で決まると思います。
・テストを生成する
[テストを生成]をクリックして、用意したドキュメントを生成AIに提供します。
テスト生成で指示するプロンプトを入力します。選択できる既定のプロンプトにはAPIテストに関するものが提供されていないため、完全オリジナルです。作成したプロンプトをプロンプトライブラリに登録しておくと、プロンプトの使い回しができるのでお勧めです。プロンプトは、大事なナレッジです。
プロンプトへの指示について
アプリテストではUI操作の手動ステップを元にテストコードを生成しますが、APIテストでは手動ステップの代わりに処理ステップを生成すると言った観点に近いです。また、コード生成の精度を上げるために処理ステップには処理で必要な全ての情報が格納される様、プロンプトに細かく指示することをお勧めします。
API仕様書に基づいた正常系と異常系のテストケースでが生成されました。
試しに正常系のテストケースを1つ格納して生成されたステップを確認してみます。APIコールに必要な情報が全て格納されていることが確認できました。
(3)テストコード生成して実行する
UiPath Studioで、本テストケースのコードを生成します。
コード生成について
生成されたコードを見直して、誤っている箇所があれば修正するか、コード生成を再実行します。尚、ローコードでも生成可能ですが、まだC#によるコード生成の方が精度は良いようです。
テストを実行すると2つの合格が確認できました。1つ目は、ステータスコードが200で返ってきたかの検証、2つ目はレスポンスに整数値（テストセット実行ID）が返ってきたかの検証です。このテストコードでは本当にテストセットがトリガーされたか検証は出来ないので、後述で解決します。
❷GETメソッドのAPIテストをやってみる
続けて、GETメソッドのTestSetExecutionsのAPIテストをやってみます。
(1)準備
・API仕様書を用意する
TestSetExecutionsのAPI仕様も適当に作成してみました。
応答レスポンスの情報は、いっぱいありますが、お試しなのでハショリました。
ファイル名：API仕様書.xlsx
シート名：TestSetExecutions
・テストデータを用意する
Orchestratorに既に格納されているテストセット実行情報が取得できるか検証させたいので、そのテストセット実行IDと、期待するテストセット実行情報をテストデータとして用意します。このデータを生成AIに参照させてテスト生成してみます。
ファイル名：APIテストデータ.xlsx
シート名：設定値
(2)テスト生成
・要件を作成する
下記の様に要件を登録します。
・テストを生成する
[テストを生成]をクリックして、用意したドキュメントを生成AIに提供します。
テスト生成で指示するプロンプトを入力します。尚、前述のPOSTの際のプロンプトと異なる点は、API名と「APIテストデータ.xlsx」記載のテストデータをテストケース生成のバリエーションで使用してください。と追加している点です。
API仕様書に基づいた正常系と異常系のテストケースでが生成されました。この中で、テストデータを利用した正常系の2件を格納してみます。
生成された2つのテストケースに格納されたステップを確認してみます。テストデータが使われていることが確認できました。
(3)テストコード生成して実行する
UiPath Studioで、本テストケースのコードを生成して、実行します。
＜テストセット実行IDが有効な場合のステータス確認＞
テストセット実行ID「239850」のテストセット実行情報のStatusが「Cancelled」なので合格です。
＜テストセット実行IDがペンディング状態の場合のステータス確認＞
テストセット実行ID「240047」のテストセット実行情報のStatusが「Pending」なので合格です。
❸複数のAPIを呼び出すシーケンス図でテストをやってみる
「StartTestSetExecution」でテストセットを実行し、戻り値のテストセット実行IDを使用して、「TestSetExecutions」でテストセット実行情報を取得、実際にトリガーされた状態なのか検証します。
(1)準備
・シーケンス図を用意する
別ファイルで適当に作成してみました。画像ファイルです。
ファイル名：APIシーケンス図.png
(2)テスト生成
・テストを生成する
「StartTestSetExecution」の要件にテストケースを追加します。[テストを生成]をクリックして、用意したドキュメントを生成AIに提供します。
テスト生成で指示するプロンプトを入力します。これまでのプロンプトから前半部分は大幅に変更してます。観点としては、シーケンスを通してレスポンスの値が以降のAPIの設定値で利用できる場合は、レスポンスの値を使用する点と、それぞれのAPIコール毎にHttpClient クラスの新しいインスタンスを初期化し、ベアラートークンとパラメータの設定も再設定する様に指示しています。この指示がなければ、テストコード生成の精度が低かったためです。今後はプロンプトに指示しなくても改善される可能性はあります。
生成を実行するとシーケンス図に基づいたテストケースでが生成されました。
生成されたテストケースに格納されたステップを確認してみます。シーケンス図の処理ステップとテストコード生成で必要な情報が格納されていることが確認できました。
(3)テストコード生成して実行する
UiPath Studioで、本テストケースのコードを生成して、実行します。
テストを実行すると2つの合格が確認できました。1つ目は、「StartTestSetExecution」のレスポンスに整数値（テストセット実行ID）が返ってきたので合格です。2つ目は、このテストセット実行IDを使用して、「TestSetExecutions」でテストセット実行情報を取得、Statusが「Pending」なので合格です。これで実際にトリガーされ、正しく機能していることが検証できました。
テストコードをOrchestratorにパブリッシュして登録しておけば、自動で実行するリグレッションテストもできる様になります。
おわりに
UiPath Autopilot for Testersを利用したAPIテストの自動化を紹介させて頂きました。今回、簡単な題材でしたが、工夫したら色々とできそうです。これからも情報をアップデートして行きたいと思います！