テスト設計コンテストに参加してみた

テスト設計コンテストとは

• 概要
  • テスト設計コンテストとは、NPO法人 ソフトウェアテスト技術振興協会(ASTER)というが主催するイベントです。
  • 参加費は、法人-1チーム 32,400円（税込）/ 個人-1チーム 5,400円（税込）。
  • 参加者は、主催者側から提供されたテストベース（あるシステムの要件定義書・用語集・状態遷移図・etc）をベースにテスト設計を行い、コンテスト形式で競います。
    • チームの立場・プロジェクトの状況（第三者検証会社なのか？品質管理部門なのか？など）などは、各自で設定します。
  • まず、北海道・東京・東海/関西の3地域で地域予選が行われ、各地域の優勝チームが決勝戦に進みます。
• スケジュール
  • 2017年07月01日（土）- チュートリアル（東京）
    • テストを設計する上での基礎知識・考え方の解説をしてくださいます。
  • 2017年09月29日（金）- 参加申込締切
  • 2017年10月13日（金）- 成果物提出締切（東京）
    • 審査員はこの成果物を見て、地域予選の発表順などを決定する模様です。
    • 提出した成果物を地域予選までの間に修正することはできません。
  • 2017年10月20日（金）- 地域予選（東京）の発表順・開始終了時間などの通知
  • 2017年10月28日（土）- 地域予選（東京）
    • 各チームが成果物についてのプレゼンを行います。
    • 見学者用に、成果物の印刷物を掲示します。
  • 2018年02月24日（土）- 決勝戦
    • 地域予選の有償チームがプレゼンを行います。
    • 地域予選の成果物を修正することができます。
• 成果物
  1. テスト設計の最終成果物
     • 想定するテスト依頼元への納品物という位置づけのドキュメント
     • 40ページ以内
  2. テスト設計に関わる成果物一式
     • マインドマップやマトリクスなど、上記の成果物をまとめる過程で作成したドキュメント
  3. アピールシート
  4. プレゼンテーション用資料
  5. 当日フロア掲示用資料
• 詳細
  • 公式サイト

結果・作業工程

• 結果
  • 地方予選（東京）にて落選。
• 作業工程
  1. 2017年10月05日（成果物提出締切の約1週間前）から作業開始。
     • チームメンバーはそれぞれ日々の業務に追われ、ついつい後回しに・・・。
  2. 目標設定
     • 教科書どおり一連のプロセスを経験してみること。
       • 要求分析 -> テストアーキテクチャ設計 → テスト詳細設計 → テスト仕様書作成
     • 審査員からの客観的な評価を得て、今後の実際の業務での改善に活かすこと。
  3. コンセプト・設定・方針の確定
     • コンセプト
       • 今回の活動を業務に活かせるものにすること。
     • 設定
       • チームの立場
         • 受託開発案件のテスト支援
       • プロジェクトの状況
         • 現在テスト工程
         • 想定以上に不具合が発生し、開発メンバは不具合対応に追われている。
         • テストの進捗に遅延が生じており、顧客から改善策を求められている。
         • ※作業開始から成果物の締切まで正味3人日ほどしか確保できないため、苦肉の策として、設定自体も時間がない前提とした。
     • 方針
       • 短期間でプロダクトの状態を把握するためのテスト設計を行う。
  4. 成果物作成・提出
     • 上記の決定事項に従い成果物を作成し、提出締切の1時間59分前に、22:00になんとか提出！
  5. プレゼン練習
     • 突貫工事で成果物を作成したため、口頭でカバーすべくプレゼンを猛練習。
     • 提出したプレゼン資料を修正できないのがつらいところ。
  6. 地方予選（東京）にてプレゼン
     • なんとか発表を終えるも、審査員からの質問にしっかり答えられずアワアワ・・・。
     • 休憩時間に審査員の方から個別に声をかけられ、不明点を聞きたかっただけでイジメるつもりはなかったと謝罪を受ける始末。
• 審査員評価
  • 予想はしていましたが、以下のような評価を頂きました。
    • 長所
      • 要求分析や観点抽出にマインドマップを用いている点が良かった。
    • 短所
      • 「短期間で品質状況を把握する」という設定だったが、短期間につながるポイントが見えなかった。
      • お手本にあるようなプロセスでテスト設計をしているという点では、完成度の高いプロセスから一定水準の品質が期待できるが、その一方で、独自性・新規性という意味での工夫が見られなかった。

まとめ

• 通常の業務では、期間などの制約から、お手本通りのプロセスでテスト設計を行う機会がないのですが、今回このような手順を踏むことで、テスト設計の基礎を学ぶことができたと思います。
• 今回は、審査基準の1つである、独自性・新規性については考えず、まずはテスト設計プロセスの基礎を抑えたいという目的があったので、そういう意味では目的は達成できたと思います。
• ただ、何事もそうですが、計画的に進めるべきだと思いました。
• 着手したのが遅すぎたということもありますが、ドキュメントの一貫性を保ちつつ、複数人で役割分担するのは難しいと思いました。