はじめに
テスト自動化は、現代のソフトウェア開発プロセスにおいて不可欠な要素となっています。自動化により、開発者とテストエンジニアは反復的なテスト作業から解放され、より創造的なタスクに集中できるようになります。しかし、この進歩の背後には、しばしば無視されがちな大きな課題が潜んでいます。それは、テストスクリプトの継続的なメンテナンスの必要性です。
テストスクリプトは、ソフトウェアのコードが変更されるたびに更新されなければなりません。これは、スクリプトの修正、再実行、結果の確認という繰り返しのプロセスを伴います。この反復的なプロセスは、予想以上に手間がかかり、時間を消費する作業です。さらに、この作業はテスト自動化の推進を遅らせ、開発サイクルの遅延を引き起こす原因となることがあります。
この記事では、T-DASHの「デバッグ実行」機能を使って、どのようにして効率的にスクリプトをメンテナンスしテスト自動化を進めることができるのか、その具体的な方法について解説します。
TL;DL
- デバッグ機能で自動テストを終了せずにメンテナンスできる。
- 自動テストが失敗したら、自動で一時停止しメンテナスできる。
- ソースコードのデバッグと同様にステップイン、アウト、ブレークポイントが使える。
- できること
- 操作の追加 〇できる（デバッグ中はできない）
- 操作の修正 ◎できる
- 操作の削除 〇できる（デバッグ中はできない）
- 画面項目の追加 ▲できない
- 画面項目のパスの修正 ◎できる
- 画面項目の削除 ▲できない
スクリプトの修正から再実行、結果の確認に至るプロセスは、しばしば効率の問題を抱えます。特に、多数のテストケースを実行した後でスクリプトの不具合が発覚した場合、修正後にすべてのテストケースを最初から再実行する必要があります。この繰り返しの過程で感じる失望、落胆、虚しさは計り知れないものがあります。それは、時間と労力が無駄になったかのような感覚を伴い、効率性とモチベーションに影響を及ぼすことがあります。
T-DASHは『デバッグ実行』機能を搭載しており、自動テストの操作や画面項目のパスの修正をテストを終了させることなく行えます。この機能により、テストを一時停止し、必要な修正を加えた後、その場で再開することが可能です。この柔軟性は、テストプロセスの効率を大幅に向上させ、先に述べたような失望や虚しさを感じることなく、スムーズなデバッグ作業を実現します。
準備するもの
- T-DASHをセットアップしたPC
- Windows10 Pro
- 保守するテストの準備
- https://service.valtes.co.jp/t-dash/function/tutorial/testexecution_vol_001
- このチュートリアルと同じシナリオを作成しておきます。
最後のエラーメッセージ
・2023/12/2時点で「メールアドレスまたはパスワードが誤っています。」に変わっているようです。ちょうどいいので この誤りをデバッグ機能で修正 します。
画面定義の「ログインページ」の内容です。以下をコピペで貼り付けます。
※以下の内容は2023/12/2時点のものです。
| 要素名 | 値 | 要素画像のパス |
|---|---|---|
| url | https://mypage.quintee.io/login | |
| メールアドレス | //input[@id="username"] | |
| パスワード | //input[@id="password"] | |
| ログイン | //button[@id="login-button"] | |
| エラーメッセージ | //p[@class="text-danger"] |
詳細
デバッグの流れ
自動化テストの実行においては、対象システムの仕様変更や改良がしばしば挑戦をもたらします。この文書では、そのような変更によって生じる三つの一般的なテスト自動化の失敗パターンを取り上げ、それらに効果的に対処するためのデバッグ機能の活用方法を詳述します。
- テスト手順を修正する方法
- 画面要素のパスを修正する方法
- テスト手順を追加・削除する方法
デバッグ画面の使い方について
- ブレークポイントやステップインなどの基本的なソースコードのデバッグ機能をもっています。
- 「失敗したら自動で止まる」はとても便利です。実行して失敗する前にブレークポイントを設定しての流れが不要です。
1. テスト手順を修正する方法
システムの改修や改良により、表示文言が変更されることがあります。準備したテストを実行すると、テストケースにあるエラーメッセージが変更されたことにより、自動テストが失敗となりますので、そちらをデバッグ機能で修正します。
T-DASHのテストスイートの画面を開きます。
『虫のアイコン』をクリックすると、「テストデバッグ実行」画面を表示します。
デバッグ実行をクリックします。
「エラーで止まりました。OK」のアラートが表示されますので、「OK」をクリックします。
- 設定値のメッセージをクリックして、編集モーダルを表示します。
- 編集モーダルのテキストエリアに正しいメッセージ「メールアドレスまたはパスワードが誤っています。」を入力します。（※この修正が想定した期待結果になっていることが前提です。バグを見逃すための修正にならないように注意してください。）
- 「変更」ボタンをクリックします。
「再開アイコン（▶）」をクリックします。
デバッグ終了ましたの「OK」をクリックし、右上の「×閉じる」をクリックします。
確認メッセージの「T-DASHへ反映する」をクリックします。
最後の検証するメッセージが書き換わっていることが確認できます。メンテナンスはこれで終了です。
2. 画面要素のパスを修正する方法
システムの改修や改良により、画面要素のパスが変更されることがあります。パスの変更により、自動テストが失敗となりますので、そちらをデバッグ機能で修正します。
前準備
システムが改修されたとして、画面定義の画面を開き、ログインページのメールアドレスの値を //input[@id="username"] から //input[@id="email"] に変更します。
デバッグ実行
T-DASHのテストスイートの画面を開きます。
『虫のアイコン』をクリックすると、「テストデバッグ実行」画面を表示します。
デバッグ実行をクリックします。
「エラーで止まりました。OK」のアラートが表示されますので、「OK」をクリックします。
- 画面・要素の「ログインページ / メールアドレス」をクリックして、編集モーダルを表示します。
- 編集モーダルのテキストエリアに正しいパス「//input[@id="username"]」を入力します。（パスはChrome DevToolsを使って自力で取得します。キャプチャは使えないようです。）
- 「保存」ボタンをクリックします。
- 「変更」ボタンをクリックします。
「再開アイコン（▶）」をクリックします。
デバッグ終了ましたの「OK」をクリックし、右上の「×閉じる」をクリックします。
確認メッセージの「T-DASHへ反映する」をクリックします。
画面定義のログインページのメールアドレスの値が書き換わっていることが確認できます。メンテナンスはこれで終了です。
3. テスト手順を追加・削除する方法
このメンテナンスは、自動テスト実行中にできません。できるように機能を追加してほしいです。
デバッグ中に修正ができませんので、これからのアップデートによりできるようになると信じて、細かい操作は割愛します。
デバッグ実行中ではないのであれば、テストスイート画面で編集することと変わりありません。
ふりかえり
この価格帯のツールで、デバッグ機能を持っていることには驚きでした。惜しむらくは、テスト手順の追加や削除がデバッグ中にできないことです。これができれば、自動テストのメンテナンスが劇的に楽になります。いまの機能でも多少は楽なのですが、ある程度メンテナンスしてからの動作確認で微修正といった使い方に限られます。
また、この記事では、各ケースを一つずつメンテナンスしていますが、多数のケースを一度に処理し、メンテナンスすることが可能な点を考慮すると、この機能は非常に強力であると感じます。
フィードバック
機能追加を期待してフィードバックを書きます。
- デバッグ中にテスト手順を追加できるようにしてほしい
- デバッグ中に不要なテスト手順を削除できるようにしてほしい
- デバッグ中にテスト手順を移動・入れ替えできるようにしてほしい
- デバッグ中に画面要素を追加できるようにしてほしい
- デバッグ中に画面要素を削除できるようにしてほしい（これはできなくても）
- 画面要素の値を変更するときに、画面キャプチャの機能を使いたい（私はxpathをDevToolを使って、自身でとってくるので無くても問題ないですが、他のメンバーに使ってもらうときには、あると良いなと思いました）
さいごに
T-DASHは『デバッグ実行』機能を搭載しており、自動テストの操作や画面項目のパスの修正をテストを終了させることなく行えます。この機能により、テストを一時停止し、必要な修正を加えた後、その場で再開することが可能です。この柔軟性は、テストプロセスの効率を大幅に向上させ、先に述べたような失望や虚しさを感じることなく、スムーズなデバッグ作業を実現します。
本当にこの通りだと思います。これからの機能アップデートに期待しています。