スプレッドシートによるテスト管理からもっと良いツールがないか探していた。
そこでいろいろ調べてみたところ、Qaseがコスト、機能面で良さげな感じだったので導入してみた。
スプレッドシートのテストケース管理による問題点
・テスト対象の条件が細かくなってくると左側からセルが圧迫してくるため、ノートPCだとスプレッドシートが見切れてしまう
・なにがどこにあるのか、わかりにくい
・検索しづらい
・セルの細かい文字がつらくなってくる
・テスト観点等の設計よりもどう作るかの手段に重きがいってしまう
・テストマスタを使って各マイルストーンごとのテストケースのエビデンスを管理していくのがしんどい
テスト管理ツールの要件をまとめてみる
太字のところは割りと優先したかった部分
・テストマスタをベースにブランチを切るような形でテスト実施をしてエビデンスを残したい
・テスト進捗が視覚的にサクッと見たい
・テストケースが多くなっても軽量な動作ができるか
・アウトラインビューがあるか
・値段が高すぎないか
・シンプルなUIで直感的に使いやすいか
Qaseとは
手動および自動化されたQAテスト、追跡、およびレポートを行うための最新のテスト管理プラットフォームとです。
全世界2万チームが導入しているそう。
価格
Freeプランだとテストの同時実行が2つまでという制限はありますが、使える機能はかなり豊富で編集可能なユーザーは3ユーザーまで使え、参照だけなら制限なしっぽい。
無料でここまでできるのはありがたい。。。（泣）
有料化するとしたらスタートアッププランだと思うけど値段もリーズナブルなのでコスト面はバッチリ！！
Qaseの使い方
Projects
まずはプロジェクトを作る。
アプリ単位や機能単位、プロジェクト単位などどのカテゴリをプロジェクトとするかが大事かなと。
いまのところ、アウトライン構造が深くなりすぎないよう機能単位、画面単位で進めてる感じ。
この画面ではそのプロジェクトがテスト実行中かどうか、バグが何件あるのかなどが確認できる。
ビューにはリストビューと、カードビューがある。
Repository
テストケースのマスタ的なもの。このRepositoryを元にテストプランやテストランを作ってテストを実施していく。
リストビュー、フォルダービュー、マインドマップビュー(現時点ではBeta版)がある。
Suite
テストケースをまとめる単位。
Suiteは制限なく、階層構造を持つことができる。
またSuiteは階層構造を保持したまま、複製することができる。
複製する際はSuiteのみ、Caseのみ、Suite&Caseを選択することができる。
Description
Suiteの説明。リストビュー状態でも参照可能。
Preconditions
Suiteの事前条件。リストビュー状態では見ることができず。
Suiteの編集から出ないと見れない。
なのでDescriptionに書くようにしている。
Case
テストケース。Caseボタンから作成する。
Suiteのリスト内からタイトルだけならいれることができる。
詳細はテストケースを選択すると右側に編集エリアが出てくる。
テストケースのフィールドは有料プランになるとカスタマイズ可能。
使う頻度が高そうなもの。
Description
Caseの説明。
エディタのように使えて、チェックリストやリンク、テーブルなども挿入可能。
テーブルが挿入できるのは個人的にありがたい。
デシジョンテーブルを展開できる。
Tags
タグ。
Attachments
画像ファイル等を添付できる。
Steps
テストケース確認のための実施手順。
以下のSharedStepという機能があり、あらかじめて作成しておいた手順をマスタ化して追加することができる。
SharedStepで変更した共有ステップはCase内のステップにも反映できる。
共有を外したい場合は独立することもできる。
pre-conditions
事前条件。ケース実施にあたっての前提条件。
post-conditions
事後条件。ケース実施後の条件。
Caseはリストビューからまとめて選択して、まとめて編集も可能
Test Plans
Repositoryにてテストケースの作成が完了したら、それをもとにテストプランを作成することができる。
いまひとつ使う用途が見えてこないと後述するテストランとの使い分けがわからない。
あらかじめ、パターンやグループ単位でケースをまとめておいて使い回すみたいな感じだろうか。
Test runs
Repositoryで作成したテストケースから実施するテストケースを選択して、ブランチをきれる。
ここでもCase同様にTagsやMilestoneなどが使える。
Environments
環境。テスト実施環境。開発やステージングなど環境で異なるテストランの場合などで設定したりする。
ルールさえ決めればいろいろとうまく使えそうな項目。
Configurations
OSやブラウザ設定等を設定する。
Environments同様にルールさえ決めればいろいろとうまく使えそうな項目。
テスト開始
テストが始まると各Caseにステータスがつき、テストが通ったらPassed、うまく行かない場合はFailedなどでボタンを押すだけでステータス管理できる。
Failedした場合は、Defectを作成することができ、CaseとDefectを連携することができる。
実行中の進捗状況
進捗がわかりやすく、達成感がある。
チャットですぐヘルプに聞けば、割と早く返答をくれる。
Qaseと他のツールと連携も豊富
slack等のコミュニケーションツールや、trelloなどのタスク管理、Redmineなどのバグ管理システムとも連携できる。
また、テストフレームワーク等の連携も可能でテスト自動化にも対応している。
web hookも使える。
惜しいなと思ったところ
①似たような項目でちょっとだけ違う項目が大量にある場合にクローン機能がちょっと使いづらく感じることがある
これはUI,UX上しょうがないのかもしれないがスプレッドシートのように同じような項目をコピペでさくっととは行かず、クローンでポチポチしないといけないところがちょっと使いづらいなと思った。
②大量の項目をいれるのには少し手順が煩わしい
この辺はスプレッドシートのほうが使いやすかったかもしれない。
ただ、Qaseはエクスポートやインポート機能が充実していて、CSVやExcelなどにあらかじめ大量の項目をいれておけば、インポートでまとめて任意のSuiteに追加することもできるのでこの辺をうまく使えば良さそう。
③階層構造が深くなりすぎると結局管理しづらくなる
これはProjectsの単位を工夫したりすることでなんとかなりそう。
まとめ
テスト管理において銀色の弾丸というわけではないけど、無料でここまで使えるし、テストケースが充実していけばRepositoryの良さが地味に出てくる。
テストランでテスト実施のたびにそのときの内容でエビデンスを残せるのはかなりいいので、使い方に慣れて、うまくつきあっていきたい。
今後のアップデートも楽しみ。