テストを効率化するためにPictMasterを使ってみる

目的

項目と値の組み合わせテストがとても多く、全て実施するのは現実的ではないので、品質を保ちつつ組み合わせを減らしたいのです

まぁ手動じゃなく自動でテスト実施していけば最終的には全部できるんじゃない？っと言われればそれまでですが・・・その前に減らしたい。

テストケースを減らすには

直交表、HAYST法、ペアワイズ法・・・おぉん、どれがマッチするか全部確認するのに時間がかかりそう。

因子は入力フィールドとかで、水準は入力フィールドだったらそこに入る値って感じかな。
ツールもあるみたいだし、とりあえずペアワイズ法で考えよう

「確率的な要因を備えた組み合わせ手法」ってことなので、どっかのパターンのみ発生するようなバグはもれてしまう可能性がありますね。
どっちにしろ全部テストできないなら妥協点をしっかり作らないといけないと思いますし、リスクとして捉えておくということで。

部屋とPictMasterと私

某サイトの説明を読んでみると

PICTで生成されたテストケースを使用することにより，テストの質を落とさずに，組み合わせテスト実施に必要なテストケース数を従来の数分の1から数百分の1に削減することが可能です。

ふー、すんごい良さそう
早速やってみる。

PICT使うには因子と水準のファイルを作ってー、制約があればそれも記述してー、ってこれ絶対やらない人でてきそうだし元となるテキストファイルのメンテナンスもどうなるんだろう。

~~私一人でやるのが嫌なので、~~誰でも気軽にテストケースを減らしたいのです。
以下のツールがとても良さそうでした。（このサイト自体が良い勉強になりそう）
Excelで操作となるので敷居は低いでしょう！

組み合わせテストケース生成ツール「PictMaster」

PictMasterの環境構築

1. 作者様のサイトからPictMasterをダウンロードし解凍。

2. 解凍したフォルダ内にある『PictMasterユーザーズマニュアル.pdf』の"PictMasterのインストール"を参考に構築。

PictMasterを単純に使ってみる

1. 適当に条件を作成
   

2. 環境設定を好きなように行う
   

3. 実行
   

4. できました
   

ただ、WindowsでSafariはいらないし、MacでIEとかもいらない。
制約を入れれば解決できそう。

PictMasterを制約を入れて使ってみる

1. 環境設定で"制約表を使用する"にチェック（ついでに最適化も入れてみる）
   

2. 下に制約表が現れる
   

3. 制約を入れていく
   『PictMasterユーザーズマニュアル.pdf』を元に必要そうな情報をピックアップする。
   ● if条件はセルの色を変える
   ● 先頭に#を付けると記入した値以外という意味
   ● *や?のワイルドカードが使える
   　
   そしてできたのがこれ
   

4. 実行
   狙った通り出せてますね。
   
   　
   同一ディレクトリに出力される『a.txt』を見ると、PICTに渡している情報が見れてるのかな？

a.txt

OS:	Windows 7,Windows 10,Windows Server 2012 R2,Windows Server 2016,OS X 10.11 El Capitan,macOS 10.12,macOS 10.13
ブラウザ:	IE,Edge,Chrome,Firefox,Safari
操作1:	入力,クリック

if ([OS] LIKE "Windows*" ) 
    then ([ブラウザ] <> "Safari" ) ;
if ([OS] LIKE "*OS*" ) 
    then ([ブラウザ] = "Chrome" or [ブラウザ] = "Safari" ) ;

PictMasterのカバレッジを増やしてみる

こんな風に項目を増やしても・・・

今回のパラメータではテスト数に影響がでないようです。

環境設定の"組み合わせるパラメータ数"を増やしてみます。

これで実行すると3wayカバレッジで作成されています。

まとめ

• PictMaster使いやすい！Excel管理となるので操作の敷居が低い！
• 制約表は書き方に迷う人が出るかも⇒いたら一緒に制約を作ってあげる
• 重要なテストはカバレッジを上げた方が良いかも
• たまには環境設定でシードを変更して出力した方が内容が新鮮かも

んー社内で普及できるかもしれない