Testim とは？
Accelerate test authoring, reduce test maintenance, and release higher-quality apps faster.
（引用： https://www.testim.io/ ）
AI を使ったテストツールで、公式にもある通りテスト周りをサポートしてくれます。
特徴としては、ノーコードでテストの作成から実行、運用まで行える点です。ちなみにモバイルアプリのテストもできますが、今回はそこには触れません。
それなりに昔からあるようですが、日本語の記事が多いわけではないため、日本での知名度は他のツールに比べると低いかもしれません。（そもそもドキュメントも日本語に対応していない）
なので、日本語でのメモ的なものが欲しいと思い、こちらに残しておきます。
Testim を動かしてみる
アカウントの作成などは各自で行なってください。Chrome で Extension の設定がありますがそこまで難しくはないです。
最初は２週間のフリートライアルとして使えますが、それが過ぎても機能が制限するだけで使用することは可能です。チームで使うとなると契約が必要になるので、小さいスコープで試したい場合にはおすすめです。
※ちなみにフリーアドレスでは登録できないので注意※
- テストの作成
テストは Testim の Extension が入った Chrome を動かすことで作成可能です。Testim 側が動作を自動でステップとして認識して、テストのフローにしてくれます。（すばらしい！）
Testim の管理画面からレコードボタンを押して URL を入力すると、WEB ページ上でテストステップの作成を開始します。
今回は 「Qiita を使ってログインする」までのステップを作ってみます。
「Create Test」 を押すと、入力した URL の画面に飛んで、実際にテストしたい動作を WEB ページで操作していきます。
途中で一時停止する場合は、右下のアイコンをクリックして止めることができます。また、終了する場合は、上にある「キャンセル」を押せば強制的に終了できます。（タブごと閉じても同じ）
例えば、ログイン -> ID・Password入力 -> ログイン の動作を行った場合、自動で以下のようなテストのステップが作成されます。
動作名、参考画像などは自動で作成されますが、後で自分で編集可能です。また、途中で一部の動作を差し込んだりできます。
これでテストは完成です。とても簡単です！
- テストの実行
作ったステップのフローは、上にある再生アイコンボタンでローカルに実行できます。
また、実行時に
- シークレットモードで行う
- 画面サイズを変更する
といった、いくつかのオプションが用意されています。
実行すると自動で別のブラウザが立ち上がり、テストを開始します。
テスト作成時と同様に、上にあるボタンからキャンセルして、強制的にテストを終わらせることもできます。
テスト成功時
このようなアラートが出れば成功です。
テスト失敗時
以下は、強制的にテストを終わらせた場合の画面です。
失敗したステップに、なぜ失敗したのか原因が出ます。
エラーの詳細を見ることもできます。
どの画面なのか、事前に登録されたステップの画面をみて確認できます。
※失敗した時のスクショではないので注意
また、失敗したテストをタグ付けして分類できます。
詳しい方法はこちらをみてください。
Testim の便利な機能
機能はかなり豊富に用意されているので、いくつかピックアップしたいと思います。
- 仮想環境でのテスト実行
ローカルで実行すると、動かしている間はパソコンの操作ができないので不便です。そこで便利なので Testim が用意した仮想環境で実行できる機能です。
実行時のオプションにある、Run on a grid を選択することで実行できます。また、実行時にいくつかのオプションを設定できます。
テストを実行すると、実行中の画面が表示され、現在実行されているステップがわかるようになります。
しばらく放置して待っていると、結果が返ってきます。
テスト成功時
ローカル実行と同じく成功のアラートが出てきます。
テスト失敗時
失敗している場合、失敗した部分が赤く表示されます。
また、期待値に対して失敗した部分のスクリーンショットを確認することができます。
Editから、その場で失敗した部分のテストのステップを編集することもできます。
- テストの処理を分岐する
テスト実行時に
「たまにしか出ないアラートのせいでテストが止まってしまう」
みたいな場合があると思います。
こういったケースの対応するために、
- 特定のボタンが存在する時だけ押す
- ボタンがなければテストを進める
といった設定が可能です。
具体的な例を見てみましょう。
要素の存在確認
今回は「ログインボタンが存在すれば処理を実行する」を例にします。
「When to run step」 オプションは「Always run」がデフォルトで選択されています。これを条件によって実行しないと設定することで、処理を分けることができます。
要素が存在するかで処理を分岐するために「Element visibility」を選択して、実際に WEB の画面上にある HTML の要素を選択するだけです。
ただし、実際にその要素がある画面を開いていないと選択できないため、次のような警告が表示されます。（テスト実行途中でその画面を開いていれば出ない）
以下の２つで
- Open base URL
- Run test to relevant step
「Open base URL」は最初に設定したURLを開いて自分でそのページまで進む必要があります。
「Run test to relevant step」を選ぶと Testim がそのページまでテストを動かして自動でページまで移動します。
手動でも使える ブレイクポイント （テストを途中まで進めて止める）機能を使って、Testim が自動でそこまで進めてくれます。
そこまできたら再度「Element visibility」を選択して、条件としたい HTML の要素を選択します。
要素を選択すると要素の 「Visble」 or 「Not visible」 （表示・非表示）のいずれかで処理を実行するのかを決められます。これを選択して完了です。
最後に、自動で作られてしまったブレイクポイントだけ削除しておきましょう。
（でないと次のテストもここで止まってしまうため）
ちなみに Javascript を使って具体的にエレメントから判定することもできます。
（すいませんが、こちらは動作確認しておりませんmm）
- Javascript を差し込む
Testim の裏側は Javascript で動いています。なので、必然的に Javascript でカスタマイズできます。実行するステップと同時に入れることもできますが、Javascript のアクション単体としても実行できます。
ステップの間にあるボタンから追加していきます。
試しにコンソールでログを出すだけの簡単な処理をいれました。
実際にテストを実行すると Javascript が機能しており、ログが出ていることがわかります。
ただし、クラウド上で実行すると、ここにはログが出ないので注意してください。
各ステップの結果画面にあるコンソール画面から確認できます。
- テスト前後で処理を差し込む
先ほどはステップとして、Javascript を１つ差し込みましたが、設定画面から機械的に設定できます。
具体的には
- 各テストの実行前後
- 書くステップの実行前後
に処理を入れることができます。
これは、データベースの処理をリセットしたい、などテストでリセットしたい処理などを入れるのにとても有効です。
やり方としては、先ほどと同様にステップ間ボタンからアクションを作ります。このときに 「Shared step」 にチェックを入れてください。チェックを入れることで、全体で使えるようなります。
また、すでに作成済みのアクションがある場合は、設定画面から編集してチェックを入れて、シェアすることもできます。
次のプロジェクトの設定画面から、コンフィグを編集します。
コンフィグでは色々と設定できますが、下部にある「BEFORE/AFTER HOOKS」で処理を入れたい部分にチェックを入れて、実行したいアクションを選択します。（シェアのチェックをオンにしているものだけが選択できる。）
今回は「Javascript を差し込む」で作成したアクションを設定してみました。
テスト実行すると、毎回ログの処理が呼ばれていることが確認できます。
簡単に設定ができとても便利です！
上記の実行に関して、オプションとして 「常に呼ぶ/成功時だけ/失敗時」 といった設定も可能です。
Testim の注意点
- スケジュール実行に関して
無料アカウントでは、スケジュールを試すことはできないようです。（2024/6 現在）
定期的に実行して、結果をメールやWebhookできるので試したいなと思ったのですが...残念。
- CLI の実行に関して
設定の CLI タブから Testim に必要なツールをインストールします。
リモートの場合は自分が連携したい場所（Azure, Circle CI, GitHub Actions etc.）を選択します。またローカルからも実行可能です。
選択したオプションによって、必要なコマンドを提供してくれるので（右に表示される）、それを実行するだけです。
インストールはできたのですが、こちらも同じく実行しても立ち上がらなかったので、無料アカウントでは使えないのかもしれません。（2024/6 現在）
- テストのエクスポートに関して
いくつかの情報からできると思ったのですが、現在はできなくなっているようです。
（ドキュメントは残っているが使えない）
Testim Playground was discontinued on June 26, 2023. We are preserving this post for your reference.
と公式にも書かれており、機能としては廃止されています。
終わりに
昨日のアップデートが頻繁に行われているので、ここに書かれていても使えなかった場合はすみませんmm
また、プランによってできることも違うので、試しにフリープランで使ってみることをオススメしますっ
参考
日本語の記事