はじめに
この記事にたどり着いたあなたへ、以下のようなことを悩んでませんか？！
テストに関しての悩み
- 作成したアプリケーションで不具合がよく発生する
- 試験書とエビデンスの管理がめんどうだ
- 過去の試験書がみつからない
- Excelなどの表計算ソフトに限界を感じる
- テスト管理ツールを使ってみたいけどよくわからない
担当しているプロジェクトでもこのような悩みがありました。
この状態のままではまずい！！ ということで、
テスト管理ツール導入目的
- 試験書の標準化
- 過去の試験結果の見える化
- 製品の品質向上
を目的として掲げ、いくつかテスト管理ツールを触ってみて検討した結果、
「TestRail」を導入することになりました。
今回の記事は、TestRailを使用してみて使用感や感想を書き記そうと思います。
テスト管理ツール導入で悩んでいる方へ、少しでも参考になれば幸いです！
テスト管理ツール選定にあたって
まずはTestRailを導入するにあたり、何社か話を聞いたりデモを触ってみました。
TestRailを選定した理由としては以下の通りです。
使いやすいインターフェイス
テスト管理ツールに特化しているだけあり、使いやすいUIになっています。
（キャプチャはテスト実行画面）
キャプチャの画面だけでも、テストの総数、内容、結果をひと目で確認できます！
Backlogと連携できる
会社で使用しているプロジェクト管理ツールがBacklogとなります。
JiraやRedmineであれば連携しているところが多かったのですが、Backlogと連携できるツールが多くなく、その中でも比較的使いやすいと感じたのがTestRailとなります。
気になる方は以下の記事を参考ください。
自動テストに対応
jenkinsと連携し、テストの自動実行から結果の反映まで行えることに魅力を感じました！
ただ、現在はまだ導入できておらず詳細は書けませんが、今後導入する予定です。
こちらも気になる方は以下の記事を参考ください。
その他
他には基本的な機能として、以下があります。
- Excel等の外部ファイルからのインポート/エクスポート
- エビデンス等のファイル添付
- テストケースの複製、使い回し
等々...
こちらは、どのテスト管理ツールにも標準で備わっていることがほとんどかと思います。
実際にデモを触り、使い勝手を確認した上でTestRailに決定しました！
テストケースの作成について
実際の画面を交えて、TestRailの使い勝手について記載します。
テストケース作成
基本的には、一般的なテストケース作成と同様で、
- タイトル
- 項目情報
- 前提条件
- 手順 / 結果
- 備考
を入力します。
項目に関しては、カスタム可能なのでプロジェクトに合った項目を設定できます。
また手順に関しても1つのケースで必要に応じて複数手順を追加できたり、自由度が高い作りとなっています。
また入力に関しは、Markdown記法で入力することができます。
テスト実行について
テスト実行（テストラン）の作成
テストケース作成後は、テスト実行するためのテストランというものを作成します。
ここで良いところは、新しく追加したテストケースにプラスして過去作成した（回帰テスト用の）テストケースを簡単に追加することができる点です。
テスト実行
上記、使いやすいインターフェイスにもキャプチャを貼っていますが、テスト実行画面は直感的に操作しやすいUIとなっています。
結果にコメントを残したり画像を貼り付ける事ができるほか、プロジェクト管理ツールと連携していれば、TestRail上から不具合チケットを作成することもできます。
また特にコメントを残す必要がなければ、特定のキーをクリックすることで、ポップアップを表示させず結果を入力できます。
※ 私はPASSを入力するために[P]キーをよく使います！
詳細は以下の記事を参考ください。
過去のテスト実行結果確認
過去に実行したテストランは、完了済みからいつでも気軽に閲覧することが可能です。
すでに完了しているテストランに使用されているテストケースを変更しても、完了しているテストランの中身に影響がない（テストケースが書き換わらない）点も使い勝手が良いと思います。
レポートの作成
いろいろなレポートを作成することが可能です。
参考程度に、デモに載っていたサンプルのキャプチャを貼り付けました。
日別の進捗管理、担当者ごとの作業負荷等、実行中のテストランから簡単に作成することが可能です。
表計算ソフトとの比較
ここまで使い勝手について記載しましたが、表計算ソフトのほうが優れている点もあります。
表計算ソフトの優れている点
- 表計算ソフトでテストデータを作成した場合、そのまま表計算ソフトを使用したほうが確認しやすい
- パターン分けのテストケースは、表計算ソフトのほうが作りやすい
表計算ソフトで作成したテストデータをTestRailのテストケースに添付すればよいのですが、
必要なケースに毎回添付する必要があったりします。（運用方法次第ですが。）
また、TestRailはMarkdown記法で入力するため表を使う場合は、
どうしても作りやすさ、見やすさという面で、表計算ソフトに軍配が上がります。
以上から、総合的にはTestRailのほうが使いやすいかと思いますが、
表を扱う部分に関しては、やはり表計算ソフトのほうが優れていると感じました。
コストについて
テスト管理ツール等のSaaSを利用する以上、コストが掛かります。
HPの価格表を確認したところ、「問い合わせください」とのことで費用については記載はありませんでした。
ただ参考程度にですが、過去（2021.04.21）の記事には、
テクマトリックスTestRailクラウドサービス年間ライセンス(5ユーザー)：258,000円(消費税別)
と記載がありました。
現在の価格が気になる方はこちらの記事から問い合わせください。
まとめ
当初、目的として掲げていた項目の達成状況としては以下のようになります。
-
試験書の標準化
テストケースを作成するフォーマットを事前に設定し、テストケース作成時のルールを設けることで、ある程度標準化できました。 -
過去の試験結果の見える化
過去のテスト結果はいつでも確認することが可能なので、見える化は問題なく達成です。 -
製品の品質向上
試験書の標準化により作成者ごとによるブレが減り、テストケースが統一化されました。
また過去の関連するテストケースを必要に応じて使用することで、デグレを検知しやすくなり、より品質が向上してきているのではないかと感じています。
今回、TestRail導入によりテスト管理がとても楽になりました。
ただ、テストケース作成まではある程度慣れが必要となります。
（テスト実行は簡単ですが、事前準備含め色々と設定や作成時のルール作りが必要です。）
また、一番のネックはコスト面になるかと思います。
プロジェクトの規模含め、Excelでこと足りることもあるため、先を見据えコストに見合うか検討した上で、導入してみてはいかがでしょうか。
デモはいつでも触ることができ、オンラインセミナーも実施しているので興味がある方は参加してみるのも良いかと思います。
おわりに
こちらの「Qiita Engineer Festa 2024」に便乗して、初めて記事を投稿してみました！
見づらいかもしれませんが、少しでも参考になれば幸いです。
もし良ければ、 いいね！ をよろしくお願いいたします。