今までの状況
以前まではNightWatchを導入し、使用していました。
以下はその時の状況になります。
-
導入初期
開発エンジニアの手によって定期的に更新されていた。 -
導入から1年後
システムの機能が増えるにつれて管理されなくなり、コードでのテストは行わず、テスターの手動でテストを行なっていた。
開発エンジニアの片手間でテストを実装していたこともあり、保守性やテストカバレッジは決して良いものではなかったです。
また、コードで実装することは開発未経験のテスターの手には余り、次第に手動でテストを行うことが当
たり前になってしまってました。
テスターの負担が大きくなりすぎたため、テスターの人でも自動テストをメンテナンス出来る方法がないかと考え、テスト自動化ツール「MagicPod」に辿り着きました。
なぜMagicPodにしたか
-
国内での知名度が高く、ユーザーコミュニティやイベント等の情報交換の場が多く設けられていること
- 知名度が高いと使用ユーザーも多く、日本語の情報が取得しやすいかなと考えたためです。
- 現在だと国内で特に有名なのが、「MagicPod」と「Autify」の二つになります。
-
実行回数が無制限
- 「Autify」は実行回数が決まっているのに対して、「MagicPod」は実行回数が無制限です。
- 実行回数が無制限であれば、テスターの人も積極的にテスト実装やメンテナンスが出来ると思い、ここは特に重視してツール探しを行いました。
半年間使ってみて実際どんな感じ？
結論：すごくいい
-
テスターの工数が削減できた
- 今まで手作業でやっていたテストケースを自動化したことで月10時間ほどの削減に繋がった。
- 余ったリソースで例外的なテストケースを手動でテストすることが出来るようになり、バグの早期発見にも繋がった。
-
日々新しい機能が追加される
- 改善要望等のユーザーの声を積極的に取り入れており、新しい機能が日々追加される。
- 最近だと、「ヘルスコア機能」が実装されて、テスト自動化の状況を定量的に見ることができ、テスターのテスト自動化をより良くしていこうという意識も見れるようになった。
-
サポートが丁寧で的確である
- 不明点やわからないことがあっても、サポートに問い合わせをするとすぐに的確な回答をもらえる。
- 回答も開発未経験の人でもわかりやすく、テスターの方からも好評である。
まとめ
MagicPodを導入してから、決まった手順を繰り返し正確に行う必要のあるテストケースを自動化した事で例外的なテストケースを重点的に行うことが可能になりました。
自動テスト化したことでリソースが余り、テスターの方が主体的に様々なテストケースを実施してくれるようになり、テストチーム全体の雰囲気も良くなったと思います。
サポート体制も充実しており、不明点が聞ける環境があるのでテストを自動化したい方には是非おすすめだと思います。
これからどうしていきたいか
- ヘルスコア機能のスコアが現状が70台のため、90台を目標にテストケースを見直していきたい。
- MagicPodについての情報を積極的に発信していきたい。