はじめに
スマホアプリのリグレッションテストとしてMagicPodを2年ほど使っています。その中でMagicPodを使って良かったことろ、良くなかったところを正直に書いてみました。
良かったところ
ノーコードなので簡単に作れる・動かせられる
やはり、MagicPodを導入した1番の理由がノーコードです。
過去にAppiumを用いてテスト自動化に取り組んだことがあるのですが、知識を持った人があまりおらず道半ばで挫折した背景もあり、テストを動かすためのインフラが不要・直感的に操作してテストを作れる・すぐにテストを動かせることのできるノーコードだったから2年間継続して使ってこれたのだと思っています。
料金が良心的
自動テストの導入を検討していたころに別のノーコードツールといくつか比較をしていたのですが、それらに比べ料金はとても安かった印象です。この点も自動テスト導入におけるハードルが下がった1つの要因だと思います。
どの料金プランでもテスト実行回数無制限
別のノーコードツールではテストの実行回数に制限があったり従量課金だったりするのに対し、MagicPodはどのプランでもテストの実行回数に制限がありません。MagicPodを導入してテストを作り始めた時に制限に達したのでテストが作りきれなかった・たくさんテストを実行したから料金が増えた、、なんてことがありません。
サポートが手厚いので失敗したテスト分析が捗る
なぜこのテストが失敗してしまったか、自分たちの力だけでは原因分析ができないケースもあると思います。その時は、MagicPodのテスト実行結果ページから、そのテストが失敗した内容について簡単にサポートに問合せすることができます。必要に応じて内容を追記しボタンを押すだけです。
またその返信も内容によってはすぐ返していただけたりととても助かっています。
良くなかったところ
テストレポートやダッシュボード機能がない
例えば、ここ1週間に実行したテストのうち成功したテストの割合は？たくさん失敗しているテストはどれ？テストの実行時間の推移は？など、自動テストをメンテナンスしていくにはこういった情報がまとまったレポートやダッシュボードがあると嬉しいですよね。
MagicPodにはそういった機能がないので、ぜひ作っていただきたいです笑
そのため、私達のチームではダッシュボードを自作しています。詳しくはこちらの記事をご参照ください。
ブランチ機能
テストケースを変更する際に、メイン（マスター）のテストケースは変えずにやりたい時って結構あると思います。そういったことが可能になるブランチ機能は、現在開発中とのことでした。
ブランチ機能がないので、複数の人がテストケースを変更したいときに調整したりうまく運用できるようルールを定めたりしないといけなく、それにかかるコストやリスクがある状態です。
iOSの実行時間が長くなる時がある（基本的にAndroidに比べ長い）
iOSのテスト実行時間は基本的にAndroidに比べて長くなる傾向があり、時には2倍近くの時間になることもあります。
こちらも改善中とのことで、今後に期待です。
クラウド端末の同時実行数がデフォルト（※スタンダードプラン）2台と少ない
同時に実行できるテストが2つまでということなので、早くテストを終えるために3台以上並行してテストを動かすことができません。オプションで数を増やせるのでお金で解決するしかないのがちょっとつらいところですね。。
おわりに
総じてMagicPodは使い勝手が良くユーザーフレンドリーなツールだと思っています。良くなかったところもほとんどが改善中・開発中とのことなので、今後良くなることを期待しています！