はじめに
こんにちは、QAエンジニアのヨシナです。
前回の記事では、MagicPod Autopilotを活用したMagicPodテストケースのメンテナンス性レビューの事例を紹介しました。MagicPod Autopilotは、テストケースのメンテナンスだけでなく、テストケースの新規作成も可能であると公式ドキュメントに記載されています。
そこで今回は、Autopilotを使ったE2Eテストケース作成の自動化がどこまで実用的かを検証しました。本記事では、その検証結果を共有します。
テストシナリオ
弊社では、AirCourseというeラーニングシステムを提供しています。AirCourseでは、管理者が学習用のコースを作成でき、作成したコースを複製する機能も備えています。コースには、レクチャー・テスト・アンケートなどのレッスンを紐づけることができ、コースを複製した際には、紐づいたレッスンも一緒に複製されます。
今回の検証で使用したテストシナリオは、コース複製機能に関する以下の内容です。
確認内容
コース複製後、複製先コースの名前および紐づくレッスンが正しく複製されていること
手順
- 管理者ユーザでログインする
- 管理 ＞ コース管理 ＞ オリジナルコース画面に遷移する
- 全種類のレッスンが登録されているコースを準備する
- 準備したコースを複製する
- 複製先コースが、設定した名前で保存されていることを確認する
- 複製先コースに、すべてのレッスンが複製されていることを確認する
利用したプロンプト
Autopilotに渡したプロンプトは以下のとおりです。
テストフローとログイン情報を、そのままプロンプトとして渡しています。
以下フローのステップを作成してください。ログイン情報も以下になります。
【フロー】
1. 管理者ユーザでログインする
2. 管理＞コース管理＞オリジナルコース画面に遷移する
3. 全種類のレッスンが登録されているコースを準備する
4. 準備したコースを複製する
5. 複製先コースは設定した名前で保存されることを確認する
6. 複製先コースで全てのレッスンが複製されていることを確認する
【ログイン情報】
メールアドレス：〇〇〇
パスワード：〇〇〇
実行結果
Autopilotによるテストケースの作成には成功しました。
以下に、実際に試してみて分かった点をまとめます。
できたこと・できなかったこと
| 項目 | 結果 | 詳細 |
|---|---|---|
| 全体フローの把握 | ✅ | テストシナリオの流れを正しく読み取り、概ね想定どおりのテストケースを作成できた |
| 基本的な要素のネーミング | ✅ | ボタンやフォームなど、基本的なUI要素の名称を適切に認識・命名できた |
| 共有ステップの利用 | ❌ | 現在Autopilotは共有ステップを扱えないため、ステップの再利用ができない |
| テスト実行前のログアウト | ❌ | ログイン操作がテストシナリオに含まれている場合、本来は事前にログアウトが必要だが、その必要性までは読み取れなかった |
| あいまいな表現への対応 | ❌ | 「準備する」などの抽象的な表現については、具体的な操作手順を明示する必要があった |
| テストケース検証時の成果物の残留 | ❌ | Autopilotによるテストケース検証時に作成されたデータは、自動でクリーンアップされなかった |
注意点
テストケース作成の途中で、Autopilotから追加の確認が入るステップがありました。
-
手順3（コースの準備）
コースをどのように準備すればよいか判断できず、具体的な方法について質問された -
手順4（コースの複製）
コースを複製する方法が複数存在したため、どの操作手順を選択するか指定する必要があった
また、やり取りの回数制限の関係で、複数の新規チャットを開く必要がありました。
チャットをまたぐ場合は、以下のプロンプトを送信することで続きから作業できます。
以下テストケース作成の続きをお願いします。
---
{元のプロンプト}
なお、今回のシナリオでは、約40ステップのテストケース作成に対して13クレジットを消費しました。スタンダードプランでは月20クレジットが無償で付与されるため、クレジット消費量は事前に考慮しておくと良いでしょう。
まとめ
MagicPod Autopilotを使ったテストケース自動作成の検証結果をまとめます。
- テストケースの流れを正しく読み取り、大半のステップを自動で作成できた
- 共有ステップや、UI仕様の理解が必要な箇所は手動でのメンテナンスが必要
- あいまいな表現や製品固有の仕様は、プロンプトで具体的に指示する必要がある
- 新機能のテストケース作成に特に向いている
新機能のテストケース作成では、まだ共有ステップが整備されていなかったり、
テストケースの雛形自体が存在しなかったりすることが多くあります。Autopilotは、そうした状況でもシナリオベースで一通りのE2Eテストケースを自動生成できるため、まず「たたき台」を素早く作成し、人はその内容をレビュー・調整する作業に集中できます。
Autopilotはまだ発展途上の機能ですが、テストケースのたたき台を素早く作成する手段としては非常に有用だと感じました。
KIYOラーニング株式会社について
当社のビジョンは『世界一「学びやすく、分かりやすく、続けやすい」学習手段を提供する』ことです。革新的な教育サービスを作り成長させていく事で、オンライン教育分野でナンバーワンの存在となり、世界に展開していくことを目指しています。
プロダクト
- スタディング：「学びやすく・わかりやすく・続けやすい」オンライン資格対策講座
- スタディングキャリア：資格取得者の仕事探しやキャリア形成を支援する転職サービス
- AirCourse：受け放題の動画研修がついたeラーニングシステム（LMS）
KIYOラーニング株式会社では一緒に働く仲間を募集しています