アジャイルテスティングとは
アジャイル開発の中でのテストのことですが、
アジャイルテスティングは、ドキュメントへの依存度がより少なく、変化をより多く受け入れ、プロジェクトが品質について継続的に会話をするという考え方のテスティングスタイルである。
Brian Marick
引用元: アジャイルソフトウェア要求
らしいです。
【しかし】アジャイルテスティングの時間がねー問題
参考：QA challenges with agile software development
- ドキュメンテーションの優先順位が低く、エラーが発生する可能性が高くなり、最終的QAチームにより作業時間に圧力がかかる
- 新機能は迅速に導入される為、テストチームが最新機能が要件に合ってるか、ビジネスルールと合致しているか、を確認する時間が短い
- テスターは開発者の役割も半分担う場合がある(テスト自動化...etc)為、時間がない
- そしてテスト実行のサイクルはどんどん圧縮されていく、、、、
- ついでに言っとくとテスト計画を準備する時間もねー
【なので】アジャイルテスティングでどこをテスト自動化するべきか考える
テストピラミットで考える
このピラミッドが言いたいことはつまり、
Unit testレベルでいっぱいテストして、UI testレベルではなるべくテストを少なくしようぜ！
その方が費用対効果も高いし！
という意味です。
つまりは自動テストでも、Unite testレベルを多く自動化し、
UI testレベルのテスト自動化は最小限に止めるべきです。
なぜならUI testを自動化しても、テストが壊れやすく、メンテナンスコストがいっぱいかかるよ！
というのが世の中の常識です。(たぶん)
アジャイルテストの4象限でも考える
アジャイルテストの4象限でも考えると、つまりは、第一象限と第二象限のとこで自動化するべき。
ということですね。
各象限の説明は軽めに以下。
1. アジャイル第一象限
内部コードの品質がこの象限の主な焦点。
つまりは、単体テストなどを自動テストで実行し、チームを支援します。
2. アジャイル第二象限
要件に焦点をあててテストします。
つまりは、ビジネスルール通りに正しく動作しているかをテストし、チームを支援します
3. アジャイル第三象限
この象限は1、2にフィードバックを提供します。
製品の信頼性を高めるために何度も反復レギュ〜が行われます。
4. アジャイル第四象限
この象限はパフォーマンス、セキュリティ、安定性などの非機能要件にフォーカスします。
テストピラミッドとアジャイルテスト４象限を合わせて考える
テストピラミッドとアジャイルテスト４象限を合わせて考えると、
どこで、どらくらい注力して自動化するべきか、が見えてくる。
【とはいえ】アジャイルソフトウェア開発におけるテスト自動化のリスク
自動化することのリスクも理解してすすめよーねー編。
参考：Risk of Automation in Agile Process
- 自動化されたUIテストは高いレベルの信頼性を提供しますが、実行に時間がかかり、壊れやすく、構築にコストがかかります。テスト担当者がテスト方法を知らない限り、自動化によってテストの生産性が大幅に向上することはありません。
- 信頼性の低いテストは、間違った検知を回避するために、失敗したテストの修正と脆弱なテストに関連する問題の解決が最優先事項になります。
- 自動テストがCIではなく手動で開始された場合、テストが定期的に実行されず、テストが失敗する可能性があるというリスクがあります。
- 自動テストは、探索的手動テストの代わりにはなりません。プロダクトの期待される品質を得るには、テストのタイプとレベルの混合が必要です
- 多くの市販の自動化ツールは、手動テストケースのキャプチャと再生の自動化などのシンプルな機能を提供します。そのようなツールは、UIを介したテストを促進し、本質的に壊れやすく、テストの維持が困難になります。また、バージョン管理システムの外部にテストケースを保存すると、不要な複雑さが生じます。
- 時間を節約するために、多くの場合、自動化テスト計画の計画が不十分または計画外であるため、テストが失敗します。
- 通常、テストの自動化時にはテストのセットアップとティアダウンの手順がないが、手動テストでは、テストのセットアップとティアダウンの手順は特に意識せず進められます。
- 1日に作成または実行されたテストケースの数などの生産性メトリックはひどく誤解を招く可能性があり、役に立たないテストの実行に多額の投資をする可能性があります
- アジャイル自動化チームのメンバーは効果的なコンサルタントでなければなりません：親しみやすく、協力的で、機知に富んでいなければ、このシステムはすぐに失敗します
- 自動テストでの効果的なソリューションを考案して提供する専門知識がない場合がある
- 自動テストは成功するが、重要な問題の解決に時間を使い果たし、重要でない問題に直面する