はじめに

エアークローゼットでSRE兼QAEをしているCutです！

今回は、テストプロセスの効率化を目的に、結合テストケースを自動的に組み立てるツールを作成してみたのでご紹介します。

背景と課題

「変更障害率を大幅改善する過程で、私たちがやったこと」でご紹介している通り、2023年時点でエアークローゼットの障害発生率は非常に高く、品質の改善が急務でした。

特に、主力事業の「airCloset」では、約10年の歴史によって仕様が複雑化し、特にそれらの組み合わせはテストで拾いきれずバグに発展するケースが相次いでいました。

そこで、テストの標準化を図り、テストケースを書くまでの過程を標準化しました。具体的には、ディシジョンテーブルテストとシナリオテストを組み合わせて、パターンやシナリオの抜け漏れが起きにくいようにしました。

2023年の結合テストフロー

1. テストケースを作る
2. レビューする

2024年の結合テストフロー

1. 条件表を作る
2. シナリオ表を作る
3. ディシジョンテーブルを作る
4. (上記をレビューする)
5. テストケースを作る

しかし、標準化したことで品質改善の手応えはあったものの、無視できないレベルの追加工数がかかるようになりました。これまで各メンバーの脳内で完結していたプロセスにアウトプットとレビューを要求したためです。特に、ディシジョンテーブルの作成には大きな時間がかかっていました。

これを解消し、最終的には標準化前の工数を維持したまま、結合テストの品質を大幅に改善することを狙いとしていました。

元々、結合テストの作成はGoogle Spread Sheet上でなされていたことから、Google App Scriptを組み合わせて作成プロセスの一部を自動化するシステムを作りました。

特に、先述のプロセスで時間がかかっていた 4.ディシジョンテーブルを作る と 5.テストケースを作る を自動化することにより、作成の大幅な効率化を狙いました。

条件表とシナリオをもとに、ディシジョンテーブルを作成する機能です。

単に条件表とシナリオをもとにディシジョンテーブルを作成すると膨大な行数が生成されてしまうため、途中に中間表を用意し、不要な生成を行わないようにする仕組みを整えました
シナリオ上で、条件表の条件名を ${} で囲んで使用すると、テストケースの自動組立(後述)時に値が自動的に埋め込まれます
シナリオ上で、条件表にない名前を ${} で囲んで使用すると、ディシジョンテーブルの自動作成時に列が作成され、任意の値を設定できます

シナリオとディシジョンテーブルをもとに、テストケースを組み立てる機能です。

シナリオ上で ${} で囲んだ要素を変数として使用できるようになっており、ディシジョンテーブル上で変数を埋めることで、テストケースへ反映できるようにしました

テストケースの作成効率は大幅に短縮され、工数は標準化前と同等、修正の工数も含めるとむしろ低いレベルに落ち着きました。
この仕組みも大きく寄与し、エアークローゼットの障害発生率は大幅に低下しました。この仕組み以外にも品質に寄与した取り組みを紹介しているので、こちらの記事もぜひご覧ください。

最後までご覧いただきありがとうございました！

エアークローゼット Advent Calendar 2024はまだまだ続きますので、ぜひ他のエンジニア、デザイナー、PMの記事もご覧いただければと思います

また、エアークローゼットはエンジニア採用活動も行っておりますので、興味のある方はぜひご覧ください！