TestRailを使ってみる

ふだん、テストケースの管理はエクセルを使うことが多いです。
手軽で便利、特別なスキルもお金も掛からないので
利用しているところは多いのではないでしょうか。

とはいえ、万能ではないので不満点もそれなりにあります。
今日はテスト管理ツールのTestRailを使ってみて、
使い勝手や良いところ、悪いところを比較していこうと思います。
入門しやすさも確認してみたいので、
初見でつかいながら記事を書いていこうとおもいます。
そのため、後からわかることもでてきたりしますが、
ご愛嬌ということで。。

※今回はデモ版を利用しています

そもそもTestRailとはなんぞや？

テクマトリックス株式会社さんが提供されている、
Webベースでテストの管理ができるツールだそうです。
テスト結果の記録や共有、進捗状況の確認ができるんだとか。
くわしくは公式サイトで。

Excelでのテスト管理

おそらく多少の違いはあれど、多くのところではこういう感じの
テスト管理ファイルを作成しているのではないでしょうか？

No.	テスト内容	確認事項	手順	担当	結果	テスト実施日	障害内容	再テスト結果	再テスト実施日	確認者	完了日
１	ボタンクリック	次の画面に遷移すること	「次へ」ボタンをクリック	Qiita	OK	2024/06/20				atiiq	2024/06/23
２	ボタンクリック	前の画面に遷移すること	「前へ」ボタンをクリック	Qiita	NG	2024/06/20	次の画面に遷移した	OK	2024/06/21	atiiq	2024/06/23
３	100文字入力する	99文字までしか入らないこと	全角・半角とわず100文字以上入力する	Qiita	OK	2024/06/20				atiiq	2024/06/23

No.があって、テスト内容や確認事項、手順、結果や担当など...
どこでも概ねこういった内容になっているのではないでしょうか？
今回は、上記の内容をExcelで管理すると仮定して、
TestRailを使いながら比較をしていこうと思います。

まずは使ってみる

なにはともあれ、使ってみないことには評価はできません。
デモサイトを利用して、使って見たいと思います。
デモサイトにはチュートリアルがついているので、
まずはそのチュートリアル通りに進めてみます。

概要

以下がデモサイトにログインした直後の画面です。

まず目に入ってくる、日付ごとのテスト実行の推移グラフ。
色付けされているし、Retestの結果やFailedも一目瞭然でわかりやすい。

グラフの形も変えることができるし、
日付も調整できるようです。

下にはマイルストーンと期日が、その右側にはテストランという項目があります。
テストランというのはプロジェクトに存在する実施するテストの集合のこと、
ということですが、名称がちょっと誤解を招きそうです。

その下には最近のアクティビティですね。

テストスイートとケース

お次はテストスイートとケースのタブを開いて見ます。

テストスイートとは、テストケースを目的や対象でグルーピングしたもの、
だそうです。
テストグループのほうがわかりやすいかな？という気がしました。

すでに登録されているマニュアルベーステスト、というテストスイートを開いて見ます。

左側にテスト一覧、真ん中にその詳細、右端はセクションを表しているようです。
機能単位やテストのカテゴリでセクションを作れるのは便利ですね。
見やすくて良いですね。
一覧は列を追加したりできるので、Excelと同じように
担当者や作成日などを表示することも可能なようです。

テストランと結果

お次はテストランと結果というタブです。
こういう画面でした。

現在実施中のテストラン一覧が見えるそうです。
完了済みは下に表示されていますね。

ブラウザーテスト、というテストランの結果を開いて見ます。

左上の円グラフはこのテストランの結果を表しているようです。
その下はこのテストランのテストケースの一覧表だそう。
どうやら、プロジェクト>テストスイート>テストラン>テストケース、という関係のようです。
Excelに当てはめると、
プロジェクト＝ディレクトリ、
テストスイート＝ファイル、
テストラン＝ファイル内のテストグループ、
テストケース＝セルに書かれたテストケース、
というところでしょうか。
これらを一つの画面で見れるのは便利ですね。

その右側はテストの詳細ですね。
詳細の下、ここから結果を追加することができるようです。

これは便利でいいですね。
Excelだと、再テスト、再々テストとなっていくと、どんどん行が増えて見づらくなっていきます。

試しにテストを追加していってみる

一通りのチュートリアルを見たので、
次はテストを追加して、結果を入力して見たいと思います。

まずはテストスイートを追加します。

新規機能のテスト、とします。

お次に、セクションを追加します。
金額計算としておきます。

追加されました。

続いて、テストランを追加します。
マイルストーンや担当をここで入れることができるんですね。
ここでは適当にいれてみます。

追加されました。

つづいて、スイートに戻って、テストケースをいくつか追加してみます。

テスト内容、手順などなどを入れていき、追加します。

追加されました。

ついでにもう一つ追加しておきます。

テストスイートを確認します。

いい感じですね。

では、テストケースをこなして見ます。
テストランと結果、タブに移動して、追加したテストの結果を入れます。

コメントを追加し、
結果をPassedにします。

グラフもかわりました。
もう一つの方も結果を入れます。

Retestを選ぶと、グラフが黄色くなりましたね。

所感

全ての機能を試したわけではないですが、
簡単に書簡をまとめてみます。

良いところ

• グラフィカルでわかりやすい
• GitHubやRedmine等、何かしらのツールに慣れている人には馴染みやすい
• テスト結果の追記が便利
• テストスイートやセクション分けができるので管理がしやすい
• テストケースの追加も予め項目が用意されているので追加しやすい
• Excelのように誰かが勝手に項目を追加したりということがない
• ごちゃごちゃにならずに項目が増えても見やすい
• 検索バーでテストを検索できる

気になるところ

• テストケースを追加するたびに画面遷移があるので、まとめて書きたいときはExcelの方が便利
• わかりにくい用語が多く、すこし学習が必要
• 機能が多めなので中小規模には向かない

まとめ

結論からいえば、私の会社では導入するメリットは少なそうです。
非常に使い勝手がよく、テスト漏れや、テスト修正漏れ等を防ぐのに有効だと感じましたし、
なによりExcelじゃない、というところにモチベーションアップも感じました。

しかし、組織として考えたとき、お金をかけてまで導入するメリットがあるか？といわれると、
使わない機能も多そうな上、教育も多少は必要となってくると、
かなりの大規模開発でない限りは見送りになるかな、という感想でした。

全てを試してはいませんが、
Excelと比較して大きなデメリットはなさそうなので、
テスト管理に悩んでいる方は検討しても良いのではないかと思いました。