テスト自動化関連ツール・ライブラリまとめ

分類については独断です。また、こつこつ「ひとこと説明」を追加していく予定です。

Selenium関連については

Awesome Selenium : 素晴しい Selenium ライブラリの数々 - Qiita

が参考になります。

FAQ

• なんで＊＊＊を除いているのか
  • 恣意的に除いていることはないので、編集リクエストかコメントをください

GUIテスト自動化ツール

モバイル・デスクトップアプリ・ブラウザのうち複数の対象のGUIを操作できるテスト自動化ツール。

有料

インストール型

• UFT One
  • QTP(Quick Test Professional)→UFT(Unified Functional Testing)→UFT One
• Silk Test
  • UFT Oneと同じくMicroFocus製で、UFT Oneのほうがメジャーな印象（筆者主観）
• Ranorex
• TestComplete
  • Webのテスト時にAutoHealing機能が付いた
• Eggplant
• Telerik Test Studio
• TestArchitect
• The LEAPWORK Automation Platform
• ZAPTEST
• Marathon & MarathonITE
• AscentialTest
• Sahi Pro
• Sencha Test
• ATgo
  • あっとごーでなくえーてぃーごー
  • ネットワーク通信なしで動作するので、セキュリティ要件が厳しい業界（金融）で効果を発揮するとのこと

Webサービス型

• Experitest
• Endtest: Codeless Automated Testing
  • WebとモバイルのテストができるWebサービス
• Reflect
• testigma
• T-DASH
  • 制限期間なし無料もあり（広告つき）
  • 日本語のキーワード駆動で自動化が可能で、ロードマップにはモバイルとWindows対応も含まれている
• BugBug.io
  • キャプチャリプレイでサクサク自動化できるタイプのツール。自動修復など確認できなかったので一旦こちらへ。

無料（体験版ではなく）あり

• Robot Framework
  • "Python ベースの拡張可能なキーワード駆動型 (keyword-driven) テスト自動化フレームワーク" via Robot Framework の紹介 — RobotFramework和訳・日本語ドキュメント集
• Katalon Studio
  • 無料のテスト自動化ツールには珍しくWindows, Mobile, Webの3種類を自動化できる
  • 内部的にはSelenium, Appium, WinAppDriverがベース
  • 筆者が使った範囲だと、Windowsの操作は日本語環境だとまだ難しい様子
• OpenTest - Test automation tool for web, mobile and APIs
• RedwoodHQ | Open Source Test Automation Framework
• Airtest Project
  • Sikuliのように画面の中から指定した画像にマッチする部分を探してきて操作もできる。
  • ゲームのテスト自動化に使えるよ！をアピールしている
• Oxygen
  • JS＋SeleniumとAppiumで自動テストを書くフレームワーク兼IDE
  • OSS
• TestProject
  • WebとMobile向け

AIを使ったテスト自動化ツール

• mabl
  • Webの自動化, APIテストの自動化
  • 2022/7に満を持して日本語に対応した
• Preflight
• testim
• test.ai
• applitools
• Magic Pod
  • Webとモバイル（Android&iOS）の自動化が可能。
• testsigma
• Autify
  • WebとiOSに対応。Androidの対応予定あり。
  • 日本国内での導入実績が多数
• Qentinel
• MLET.Ⅱ
  • ツール指定様式の画面設計書を入力すると、SeleniumもしくはSilkTest用のスクリプトを出力
• Sofy
  • モバイル向けノーコードテスト自動化ツール兼デバイスファーム
  • 手動テストの実行や管理も可能とのこと

デスクトップ向けテスト自動化ツール・ライブラリ

• WinAppDriver
  • Microsoft社公式の、WindowsをSelenium感覚で動かせるライブラリ
  • 日本語環境での動作がいまひとつなイメージ
• kfrajtak/WinAppDriver
  • Microsoft製のほうと全く同じ名前だけれども別の方が作っているライブラリ
  • むしろこちらのほうが最近でもメンテされている・・・？
• RaiMan's SikuliX
  • 画像によるオブジェクト認識が可能な自動化ツール
• AutoIt
  • Pythonなどにラッパーライブラリがあったりして意外と使いやすい
• AutoHotkey
  • AutoItが揉めて分離したプロジェクト
  • テスト自動化にも使えるけれども、プロセスを常駐させてCapsをCtrlにしたり、名前の通りキーに対してなんらかの置き換えをしたり、ショートカットやマクロ的なものを用意したりなど、業務効率化界隈でも名前を聞く
• UWSC

ブラウザ向けテスト自動化ツール・ライブラリ（wrapper含む）

• ShouldBee
• Selenium
  • healenium
    • SeleniumにSelf-Healingを追加するライブラリ
• Gauge
• Karate Driver
  • APIテストとGUI操作のテストができる
• bucky
  • 株式会社LIFULL（ライフル）が公開しているOSS
• Fake
  • mac向けのWebテスト自動化ツール・・・だがだいぶ古い

for Java

• Selenide
  • JavaでSeleniumWebDriverをそのまま扱うよりもシンプルで短く書けるように工夫されたWebDriverのwrapper
• selenified
• playwright-java

for Python

• Golem
• splinter
• selene
  • Python向けのSelenideくらいのイメージ
• playwright-python
  • PythonでPlaywrightが使えるMicrosoft公式ライブラリ

for Ruby

• Watir Project
• Capybara

for JavaScript

• Cypress.io
• Protractor
• WebdriverIO
• TestCafe
• Nemo
• Puppeteer
  • Google製の、Chrome（Chromium）の自動操作用node.jsライブラリ。デフォルトがヘッドレス。
• Nightwatch.js
• Nightmare
• CodeceptJS
  • WebdriverIO、Protractor、Nightmare、Puppeteerのラッパー
• playwright
  • Microsoft製。GoogleでPuppeteer開発していたチームがMicrosoftに移って作ったので、Puppeteerの上位互換と言う人も。
  • Chromium、Firefox、webkit対応なのでメジャーなブラウザはコレで動かせるところが利点

for .NET

• playwright-dotnet

キャプチャ・リプレイツール

• Selenium IDE
• Katalon Automation Recorder
• SideeX

モバイル向けテスト自動化ツール・ライブラリ

Android / iOS

• Appium
  • Seleniumのようにモバイルのテスト自動化ができるライブラリ
• Appium Studio
  • Appiumでの自動テスト作成がやりやすくなるIDE
• coteafs-appium
• 21
  • モバイルのテスト自動化ができるクラウドサービス
  • 無料枠あり
• shirates
  • 白玉団子から来ているらしい、株式会社ローソンデジタルイノベーション製OSS
• Maestro
  • ReactNativeやFlutterも自動化できるとのこと

iOS

• EarlGrey

Android

• Espresso
  • Androidアプリの開発者向けUIテストフレームワーク
• UI Automator
  • システムアプリとインストール済みアプリにまたがるアプリ間の UI 機能テストに適した UI テスト フレームワーク

フレームワークごと

• React Native
  • Detox
• Flutter
  • flutter_driver library

ユニットテストフレームワーク

for Java

• JUnit 5
• TestNG

for Python

• unittest
  • 標準で使用できるのがこちら
• pytest
  • 別途pipなどでインストールが必要だが、unittestよりリッチ

for Ruby

• test-unit

for JavaScript

• Mocha

BDDフレームワーク

• Cucumber
• Serenity BDD

for Python

• behave
• radish

for Ruby

• RSpec

アサーションライブラリ

for Java

• Truth
• AssertJ
• Java Hamcrest

for JavaScript

• Chai

CI/CDツール

• Jenkins
  • OSSで、自分でサーバにインストールして使うのが主
• CircleCI
  • クラウドサービス
• Travis CI

構成管理ツール

• Ansible

サーバのテスト自動化ツール

• Serverspec
• goss
• Chef InSpec

ネットワークのテスト自動化ツール

• pyATS & Genie
• nornir
  • 「ノルニル」らしい

負荷テストの自動化ツール

• Apache JMeter
• Gatling
• LoadRunner

APIテスト自動化ツール

• Karate
• jsdom
• supertest
• frisby
• SoapUI

受け入れテスト自動化ツール

• FitNesse

ビジュアルテスティングツール

• BackstopJS
• applitools
• reg-suit
• Happo.io
• Percy
• Trakr
• Gazo-san
  • 株式会社LIFULL（ライフル）が公開しているOSS
• VisWiz.io
• screenshot-tests-for-android

レポート・ダッシュボード

• ReportPortal
• Allure
• Extent Reporting Framework
• Tesults
• Testomat
• Calliope Pro
• Perfecto
• Test Evolve
• Testspace
• Metabase
  • オンプレミスのOSS版であれば無料で使用可能

デバイスファーム

• DeviceFarmer/stf
  • stfを入れたサーバにAndroidを複数繋いで、それを遠隔からブラウザ越しに操作できる
  • 以前OpenSTFという名前だったものの、開発が止まってforkしたこちらが主になっている様子
• Firebase Test Lab
• HeadSpin
• Kobiton
• Remote TestKit

クラウド上で実行環境を提供してくれるサービス

• BrowserStack
• Aerokube | Efficient Selenium Testing Infrastructure
• TestingBot: Cross Browser Testing and Mobile App Testing

モニタリング

• Checkly
  • APIとE2Eのモニタリングができるサービスとのこと。フリープランあり。

ゲームのテストツール

• Machine heads
• Airtest Project

その他テスト対象特化型

• TestZeus
  • Salesforce向け

参考

• E2Eテストの面倒くさいことはCodeceptJSにお願いしよう - Qiita
• Puppeteerの上位互換？自動テストにPlaywrightを使ってみる - Qiita