半年ほど前から、自社プロダクトの検証コスト低減を目的に数社のソリューションを検討、Datadogさんの製品を導入しました。

主軸のサービス監視・分析のソリューションに追加されたテスト自動化機能のようなのでまだまだこれからの製品なのかもしれません。
設計・開発の経験がないテスターが自身でコスト削減のためにこのツールでテストケースをさくさくと作れるというものではありません。

・テストケースを部品化し計画的に構成する必要があります（１シーケンスでだらだらと長いテストケースはメンテナンスにのちのちコストがかかります）
・提供はしているが、制約があるのか動作しない機能があります。
・上記を解決するため等で、javascriptコードで目的の値を選択、取得する必要がけっこうな頻度で発生すると思われます（例えば登録データが可変のドロップボックスに対し、特定の登録データを選択するケース）
・操作をレコーディングしテストケースを作成することができますが、作成したテストケースの動作確認は必要です。また、テストケースの即時実行のパフォーマンス（速度）が遅いため、それなりにコストがかかります。
・お世辞にも、使い勝手は良くありません（それなりの学習コストがかかります）
・（契約規模等にもよるのかもしれませんが）サポートの解決力は高くありません。

結局のところ、
・最低でも２〜３名、基本的なwebアプリ開発とクラウドサービス運用経験のあるメンバーが常駐していること
・バージョンアップを繰り返す息の長いプロダクト／サービス向け（単発開発では初期コストがかかるだけでコストメリットなし）

であることを考慮し、導入を検討する必要がある製品だと思いました。