はじめに
ある現場にて画面打鍵によるブラックボックステストを担当したのですが、
あまりにもテスト項目書が杜撰すぎたので愚痴ベースで雑多に吐き出します。
※世のエンジニア方々は「言われるまでもない」と思うことかもしれません
理想：考えているおおよそのテスト項目書
差はあれど、例としてだいたいの方がこのようなテスト項目書を想像すると思います。
(Markdown表記なので見辛い部分はご了承ください)
| No | 大 | 中 | 小 | 実施内容 | 期待結果 | 結果 | 備考 |
|---|---|---|---|---|---|---|---|
| 1 | ログイン情報入力 | 入力チェック | 異常系(ID非一致) | 初期表示される「ログイン」画面の「ID・パスワード」に、表X-Yに示す「ID・パスワード」を入力後、[ログイン]ボタンを押下する | 「IDまたはパスワードが～」とエラーメッセージ表示されログインに失敗する | 〇 or ✕ | △△ |
現実：第三者が読んで本当に理解できると思っていますか？
まず、理想のような表は存在しませんでした。(なので以降、表は一切登場しません)
結論として一番言いたいこと。
これはテスト項目書に限らず他の手順書などにも言えることですが
誰かに伝えるということを意識しましょう
以下、担当したテストでの気になったポイントを箇条書き形式で記述していきます。
(※流石にテスト項目をそのまま書くわけにはいかないので脚色している箇所があります)
-
ログインできるということはログインするということなんです
「そんな事あるはずが…」と思うかもしれませんが、
おおよそ以下のように記載されていることがありました。
※ログインするための各種情報は項目書に記載されていませんでした
(自身による質問後、口頭で説明されました)
・想定結果：ログインできること / 操作：ユーザ名とパスワードを入力しログインする
・想定結果：ログインできないこと / 操作：ユーザ名とパスワードを入力しログインに失敗する -
「ログインし〇〇画面を表示」とはどういう操作なのですか？
・どのIDとパスワードを入力し、どのユーザとしてログインした後、
ログイン直後に表示される画面で何を操作し、◯◯画面に遷移できるのでしょうか。
・本番環境の作業手順書ならrootユーザでログインして好き放題できますが… -
1つの道筋で順に実施できるようになっていますか？(余力があれば考えてみてください)
・異常系から正常系のチェックをすれば無駄に複数のデータを登録せず済むと思います。
(例：ユーザ登録 => 各種項目のエラーをチェック => 全項目にエラーがなく登録できること)
・結合テストになればより重要視して考えなければならない項目だと思います。 -
実装者の意図(このように動くはずだ)は関係なく公平に確認できますか？
・テスト項目を書くのはいいですが、
ちゃんとテストフェーズ前に動作確認できている前提ありきです。
・例えば「そもそも表示されるデータの項目が表示されない」など
テスト以前の問題を残すのはやめてください。 -
ホワイトボックステスト、ブラックボックステストの区別を意識できていますか？
・「〇〇画面にて～をした結果DB✕✕の△△テーブルが更新されることを確認する」のように
記述することはやめてください。
・システム利用者がDBのテーブルを
「ああ、なるほど」と言って直接参照できますか？できませんよね。
テーブルの中身を参照できる画面があるのであれば、
参照に到るまでの手順を明示してください。 -
正確に伝えることを意識できていますか？
・必要であれば「どこを」「何(左・右)クリックする」などの
レベルで記述することが必要だと思います。
・「クリックと指示されれば無意識にクリック」できますが
マウスを利き手と逆で操作してみると考えが変わると思います。
さいごに
-
「舟を編む」から学ぶ
・メディア化もされましたが「著：三浦しをん」の
「舟を編む」という小説に以下の一節があります
問：「“右”という言葉を説明できるかい？」
答：「・・・西を向いた時、北に当たる方・・・が右」
・「伝わりやすさを考慮するのは当然でしょう」と考えていましたが、
「当たり前」だと思っている言葉を更に細分化してみる、
ということについて考えるきっかけになりました。 -
専門職でない人にも伝えることを想定してみる
・私自身は開発がメインなのである程度は汲み取ることができると思っていますが
専門職ではない「オペレーター」のような方々にテストを依頼する場合を考えてみてください。
前述のような書き方をしたら指摘や質問の嵐になり、
最終的に双方にとってデメリットが多発する結果が容易に想像できます。
・そうなる前に今一度「自分はどうだろう」と考慮してみる価値はあると思います。
「はじめに」に記載した通り「愚痴ベースで雑多に吐き出し」ているので
文体が統一できていない箇所や表現が雑になっている箇所もあるかと思いますがご容赦ください。
最後までお付き合いいただきありがとうございました。