はじめに
こんにちは、QAエンジニアのヨシナです。
弊社では自動リグレッションテストにMagicPodを使用しています。
テストの品質を維持するため、テストケースの作成・修正時には可読性とメンテナンス性を担保するためのルールを設けており、修正後には必ずルール遵守状況をレビューする運用を行っています。
しかし、ルールの数が多く、テストケースが長くなるほど全項目を漏れなくチェックするのが困難になっていました。
そこで本記事では、MagicPod Autopilot を活用してテストケースのメンテナンスレビューを自動化した取り組みをご紹介します。
テストケース作成・修正ルール
まず、弊社で運用しているテストケース作成・修正ルールを整理します。
| # | ルール |
|---|---|
| 1 | テストケースで使用している要素が正しくネーミングされている |
| 2 | 使用しているUIの名前が [モード名]カテゴリ：画面名（条件） のフォーマットになっている |
| 3 | 不要なステップ（待ち処理など）が存在しない |
| 4 | 一連の操作を行うステップの初めに、コメントで何をするかが記載されている |
| 5 | バグなどでテストできない箇所・将来の申し送り事項がある場合のコメントがある |
| 6 | ブラウザを開く際、設定が「プロセス再起動」になっている |
| 7 | 変数名が日本語である |
| 8 | 変数はすべてテストケースの上位で定義されている |
| 9 | 変数以外のステップでは、渡される値がすべて変数である |
| 10 | 同じ通常ステップが2回以上使われている場合、共有ステップになっている |
これだけのルールを毎回人の目で確認するのは現実的ではありません。
特にテストケースの規模が大きくなるほど、レビューの負荷と漏れのリスクが高まっていました。
MagicPod Autopilotでのレビュー自動化
そこで、MagicPod Autopilotを使ってレビュー作業の自動化を行いました。
プロンプトと運用
以下のプロンプトをMagicPod Autopilotに送信し、
指摘された改善対象を修正 → 再レビュー、という流れで運用しています。
すべての改善対象が解消されるまで、このプロンプトを繰り返し実行します。
メンテナンスの観点でテストケースをレビューし、レポートを以下のMarkdown形式で出力してください。また、以下の点をレビュー時に意識してください。
【レポートテンプレート】
# レビュー
## 総合レビュー
100文字以内でまとめる
## 改善内容
箇条書きで100文字以内にまとめる
## 改善対象
箇条書きで「ステップ番号：修正内容」のフォーマットで最大10個記入する。運用面で影響が一番大きい順から出力してください。
【確認事項】
- テストケースで使用している要素が正しくネーミングされている
- 使用しているUIの名前が以下のフォーマットになっている
- [モード名]カテゴリ：画面名（条件）
- 不要なステップが存在しない（待ちなど）
- 一連の操作を行うステップの初めにコメントで何をするかが記載されている
- バグなどでテストできない箇所、将来の申し送り事項がある場合のコメントがある
- ブラウザを開く際、設定が「プロセス再起動」になっている
- 変数名が日本語である
- 変数は全てテストケースの上位で定義されている
- 変数以外のステップでは、渡される値が全て変数である
- 共有ステップを使っている場合、流れのコメントは不要
- 同じ通常ステップが２回以上使われている場合、共有ステップになっている
出力レポート例
# レビュー
## 総合レビュー
変数定義とコメントは適切ですが、UI名が命名規則に従っておらず、ステップ11で固定値が使用されています。これらの改善が必要です。
## 改善内容
- ステップ11の固定値「.pdf」を変数化して参照する
- UI名を「[モード名]カテゴリ：画面名（条件）」の形式に変更
- 使用しているUI要素名をより具体的な名前に変更
## 改善対象
- ステップ11:固定値「.pdf」を変数で定義して参照するよう変更（テストの再利用性に影響）
- UI「画面8085」:「[受講]コース：詳細画面」など命名規則に従った名前に変更（UI識別性に影響）
- UI「画面8086」:「[受講]レクチャー：受講画面」など命名規則に従った名前に変更（UI識別性に影響）
- ステップ9:UI要素名「関連資料のリンク」を「A4白紙PDFリンク」などより具体的な名前に変更（要素識別性向上）
- ステップ8:UI要素名「レクチャーのカリキュラム」を「レクチャー1リンク」などより具体的な名前に変更（要素識別性向上）
レポート出力の制限について
MagicPod Autopilotは、レポートが長すぎるとエラーが発生することがあります。
そのため、以下のように出力内容に制限を設けています。
| 項目 | 制限内容 |
|---|---|
| 総合レビュー | 100文字以内 |
| 改善内容 | 100文字以内 |
| 改善対象 | 最大10個まで |
ルールにない確認事項について
プロンプトにはルールにない項目として 「共有ステップを使っている場合、流れのコメントは不要」 を追加しています。
これは、「一連の操作の初めにコメントを記載する」というルールをそのまま適用すると、
共有ステップに対してもコメント追加の指摘が出てしまうためです。
共有ステップは名前や説明で内容が分かるように設計しているため、
追加コメントは基本不要と判断し、確認事項として明示しました。
結果
AutopilotによるレビューレポートはMarkdown形式で出力されます。BacklogやNotionなど弊社が使用しているプラットフォームへの転記がしやすく、実運用にそのまま活用できます。
なお、MagicPod Autopilotの利用にはAIクレジットが必要です。各プランには毎月一定の無料クレジットが付与されており、無料枠を超えた場合は有償クレジット（1クレジット100円・税別）を追加購入できます。
| プラン | 毎月の無料クレジット |
|---|---|
| スタンダードプラン2025 | 20クレジット |
| 旧スタンダードプラン | 5クレジット |
| エンタープライズプラン | 個別案内 |
筆者の環境において9ステップのテストケース1件に対して1回のレビューにかかるコストは約0.3クレジット（筆者計測）でした。スタンダードプラン2025の無料枠（月20クレジット）で換算すると、20 ÷ 0.3 ≒ 66件のレビューが追加費用なしで実施できる計算です。
※ 料金・プラン情報は2026年4月時点のものです。最新情報はMagicPodヘルプセンター（AIクレジット）をご確認ください。
まとめ
MagicPod Autopilotを使ったテストケースのメンテナンスレビュー自動化についてご紹介しました。
感想
- 適切にルールに沿ったレビューを実施してくれた
- MagicPodはテストケースの解析や要約にも活用できるため、効率化の分析など他の場面でも応用が期待できる
現在できないこと・今後の期待
| 課題 | 内容 |
|---|---|
| UIの名前変更 | Autopilot経由では変更不可 |
| 共有ステップの操作 | 現時点では非対応 |
これらが対応されれば、レビューだけでなく自動修正や実装まで実現できる可能性があります。MagicPod Autopilotは比較的新しい機能であり、共有ステップのサポートやファイルアップロード機能など、今後の機能拡張にも期待しています。
KIYOラーニング株式会社について
当社のビジョンは『世界一「学びやすく、分かりやすく、続けやすい」学習手段を提供する』ことです。革新的な教育サービスを作り成長させていく事で、オンライン教育分野でナンバーワンの存在となり、世界に展開していくことを目指しています。
プロダクト
- スタディング：「学びやすく・わかりやすく・続けやすい」オンライン資格対策講座
- スタディングキャリア：資格取得者の仕事探しやキャリア形成を支援する転職サービス
- AirCourse：受け放題の動画研修がついたeラーニングシステム（LMS）
KIYOラーニング株式会社では一緒に働く仲間を募集しています