モバイルアプリの自動テストツールShiratesを使ってみよう（その２） #iOS

本記事はOSSの自動テストツール Shirates（シラテス） の紹介記事です。
前回の記事ではOSSの自動テストツールであるShiratesを使うための環境構築とテストコードの実行方法について説明しました。

今回はAppiumとShiratesでどのような違いがあるのかをサンプルコードを使用して確認します。
ShiratesはAppiumをドライバーとして使用していますが、Appiumの使いにくさを解消するための工夫が多数盛り込まれていることがわかります。

サンプルコードの入手

まずはGitHubからサンプルコードを入手してください。

ダウンロードしたプロジェクトのディレクトリ下に複数のサブプロジェクトがあります。

以下のプロジェクトを使用して説明します。

SampleByAppium_ja
SampleByShirates_ja

サンプルプログラムの概要

Androidの設定アプリの「ネットワークとインターネット画面」において
「機内モードスイッチがONの場合にタップするとOFFになること」
を検証します。

設定画面で「ネットワークとインターネット」をタップする
ネットワークとインターネット画面で機内モードスイッチがOFFならばタップしてONにする
機内モードスイッチをタップする
機内モードスイッチがOFFであることを検証する

サンプルコードの実行

実行するには環境構築が必要ですので前回の記事を参考にして環境を構築してください。

SampleByAppium_ja

Androidのエミュレーターを起動します。※筆者はAndroid 12で動作確認しています。
ターミナル（またはコマンドプロンプト）を開いてappiumコマンドを実行し、Appiumサーバーを起動します。
IntelliJ IDEAでkotlin/AirplaneModeTestByAppium.ktを開きます。
airplaneModeSwitch関数を右クリックしてDebugを選択します。

テストが実行されます。正常に実行されるとグリーンのチェックマークになります。

SampleByShirates_ja

Androidのエミュレーターを起動します。※筆者はAndroid 12で動作確認しています。
IntelliJ IDEAでkotlin/AirplaneModeTestByShirates.ktを開きます。
airplaneModeSwitch関数を右クリックしてDebugを選択します。
テストが実行されます。正常に実行されるとグリーンのチェックマークになります。

テスト結果の出力

サンプルコードではAppiumはログ出力やスクリーンショットに関する処理を実装していないので、テスト結果はJUnitランナーのテスト結果以外は何も出力されません。

Shiratesはテストコードを書くと全自動で以下のものを出力します。

コンソールへのログ出力
ログファイル
スクリーンショットファイル
HTMLレポートファイル（テスト手順、テスト結果、スクリーンショット）
スプレッドシートファイル（テスト手順、テスト結果）

以下の手順で内容を確認してみましょう。

コンソール出力の「ログは次の場所に出力します。」のハイパーリンクをクリックします。ログが出力されたディレクトリが開きます。
_Report(simple).htmlを開きます。
テストの実行ログとスクリーンショットを確認できます。
ログの行や画像をダブルクリックすると拡大された画像を確認できます。カーソルキーで行を移動できます。
AirplaneModeTestByShirates@a.xlsxをExcel等のアプリケーションで開きます。
テスト手順とテスト結果をスプレッドシートで確認できます。

このように、Shiratesでテストコードを実行するとさまざまな出力を得ることができます。

テストコードの比較

AppiumとShiratesのテストコードを比較します。
まずは両者のテストコードの全量を掲載するので、ざっと確認してみてください。

Appiumで実装した場合のテストコード

SampleByAppium_jaのプロジェクトにあるbuild.gradle.ktsを右クリックしてIntelliJ IDEAで開きます。
下記のファイルを開きます。

kotlin/AirplaneModeTestByAppium.kt

import io.appium.java_client.android.AndroidDriver
import org.assertj.core.api.Assertions.assertThat
import org.junit.jupiter.api.DisplayName
import org.junit.jupiter.api.Order
import org.junit.jupiter.api.Test
import org.openqa.selenium.By
import org.openqa.selenium.WebElement
import org.openqa.selenium.remote.DesiredCapabilities
import org.openqa.selenium.remote.RemoteWebDriver
import java.net.URL

class AirplaneModeTestByAppium {

    private fun getDriver(): RemoteWebDriver {

        val caps = DesiredCapabilities()
        with(caps) {
            setCapability("appium:automationName", "UiAutomator2")
            setCapability("platformName", "Android")
            setCapability("appium:platformVersion", "12")
            setCapability("appium:language", "ja")
            setCapability("appium:locale", "JP")
            setCapability("appium:appPackage", "com.android.settings")
            setCapability("appium:appActivity", "com.android.settings.Settings")
        }
        val driver = AndroidDriver(URL("http://127.0.0.1:4723/"), caps)
        driver.setSetting("enforceXPath1", true)

        return driver
    }

    @Test
    @Order(10)
    @DisplayName("機内モードスイッチがOFFの場合にタップするとONになること")
    fun airplaneModeSwitch() {

        val driver = getDriver()
        var e: WebElement

        // 「ネットワークとインターネット」をタップする
        e = driver.findElement(By.xpath("//*[@text='ネットワークとインターネット']"))
        e.click()
        Thread.sleep(1000)

        // 機内モードスイッチの状態を取得する。OFFの場合はタップしてONにする
        e = driver.findElement(By.xpath("//*[@text='機内モード']/following::*[@resource-id='android:id/switch_widget']"))
        if (e.getDomAttribute("checked") == "false") {
            e.click()
            Thread.sleep(1000)
            e =
                driver.findElement(By.xpath("//*[@text='機内モード']/following::*[@resource-id='android:id/switch_widget']"))
            assertThat(e.getDomAttribute("checked")).isEqualTo("true")
        }

        // 機内モードスイッチをタップする
        e.click()
        Thread.sleep(1000)

        // 機内モードスイッチがOFFであることを検証する
        e = driver.findElement(By.xpath("//*[@text='機内モード']/following::*[@resource-id='android:id/switch_widget']"))
        val checkState = e.getDomAttribute("checked")
        assertThat(checkState).isEqualTo("false")
    }

}

Shiratesで実装した場合のテストコード

SampleByShirates_jaのプロジェクトにあるbuild.gradle.ktsを右クリックしてIntelliJ IDEAで開きます。
下記のファイルを開きます。

kotlin/AirplaneModeTestByShirates.kt

import org.junit.jupiter.api.DisplayName
import org.junit.jupiter.api.Order
import org.junit.jupiter.api.Test
import shirates.core.driver.branchextension.ifCheckOFF
import shirates.core.driver.commandextension.checkIsOFF
import shirates.core.driver.commandextension.checkIsON
import shirates.core.driver.commandextension.select
import shirates.core.driver.commandextension.tap
import shirates.core.testcode.UITest

class AirplaneModeTestByShirates : UITest() {

    @Test
    @Order(10)
    @DisplayName("機内モードスイッチがONの場合にタップするとOFFになること")
    fun airplaneModeSwitch() {

        scenario {
            case(1) {
                condition {
                    // 「ネットワークとインターネット」をタップする
                    it.tap("ネットワークとインターネット")
                    // 機内モードスイッチの状態を取得する。OFFの場合はタップしてONにする
                    it.select("<機内モード>:rightSwitch")
                        .ifCheckOFF {
                            it.tap()
                        }
                    it.checkIsON()
                }.action {
                    // 機内モードスイッチをタップする
                    it.tap("<機内モード>:rightSwitch")
                }.expectation {
                    // 機内モードスイッチがOFFであることを検証する
                    it.checkIsOFF()
                }
            }
        }
    }

}

Shiratesの場合はCapabilitiesの情報をJSONファイルに分離しています。

testConfig/settingsConfig.json

{
  "testConfigName": "settingsConfig",

  "appIconName": "設定",

  "packageOrBundleId": "com.android.settings",
  "startupPackageOrBundleId": "com.android.settings",
  "startupActivity": "com.android.settings.Settings",

  "capabilities": {
    "automationName": "UiAutomator2",
    "platformName": "Android",
    "language": "ja",
    "locale": "JP"
  },

  "profiles": [
    {
      "profileName": "Android 12",
      "capabilities": {
        "platformVersion": "12"
      }
    }
  ]
}

使用するJSONファイルとプロファイルをtestrun.propertiesファイルで指定します。

testConfig/testrun.properties

## Config --------------------
## [Android]
android.configFile=testConfig/settingsConfig.json
android.profile=Android 12

## Log --------------------
logLanguage=ja

## Appium --------------------
appiumServerUrl=http://127.0.0.1:4723/
appiumPath=appium
appiumArgs=--session-override --relaxed-security

構成管理に関する比較

Appiumの場合、JSONファイルやpropertiesファイルで構成管理する仕組みはない（あっても限定的）ので、必要ならば自力で実装する必要があります。

Shiratesの場合は独自の構成管理のフレームワークを提供しており、テスト実行環境に依存するほとんどの設定はJSONファイルやpropertiesファイルに記述することができるので、テスト実行環境が変わる際でも多くの場合はテストコードの修正が不要です。

詳細はドキュメントのParameter configuration filesを参照ください。

Driverインスタンス生成に関する比較

AppiumのサンプルコードではgetDriver()関数の中でAndroidDriverのインスタンスを組み立てる処理を記述しています。

kotlin/AirplaneModeTestByAppium.kt

    private fun getDriver(): RemoteWebDriver {

        val caps = DesiredCapabilities()
        with(caps) {
            setCapability("appium:automationName", "UiAutomator2")
            setCapability("platformName", "Android")
            setCapability("appium:platformVersion", "12")
            setCapability("appium:language", "ja")
            setCapability("appium:locale", "JP")
            setCapability("appium:appPackage", "com.android.settings")
            setCapability("appium:appActivity", "com.android.settings.Settings")
        }
        val driver = AndroidDriver(URL("http://127.0.0.1:4723/"), caps)
        driver.setSetting("enforceXPath1", true)

        return driver
    }

ShiratesのサンプルコードではDriverのインスタンスを組み立てる処理はありません。JSONの設定ファイルに正しくパラメーターを設定すれば、テスト関数が呼び出された時点で利用できます。

testConfig/settingsConfig.json

{
  "testConfigName": "settingsConfig",

  "appIconName": "設定",

  "packageOrBundleId": "com.android.settings",
  "startupPackageOrBundleId": "com.android.settings",
  "startupActivity": "com.android.settings.Settings",

  "capabilities": {
    "automationName": "UiAutomator2",
    "platformName": "Android",
    "language": "ja",
    "locale": "JP"
  },

  "profiles": [
    {
      "profileName": "Android 12",
      "capabilities": {
        "platformVersion": "12"
      }
    }
  ]
}

ドライバーを起動するときのパラメーターのセットはプロファイルを定義することで使い分けすることができます。

以下のようにプロファイルは複数定義することができます。

"Android 13"というプロファイルはplatformVersionを13に設定します。
"Android 13(en-US)"というプロファイルはさらにlanguageをen、localeをUSに設定します。

  "profiles": [
    {
      "profileName": "Android 12",
      "capabilities": {
        "platformVersion": "12"
      }
    },
    {
      "profileName": "Android 13",
      "capabilities": {
        "platformVersion": "13"
      }
    },
    {
      "profileName": "Android 13(en-US)",
      "capabilities": {
        "platformVersion": "13",
        "language": "en",
        "locale": "US"
      }
    }
  ]

画面要素の取得に関する比較（設定画面）

設定画面の「ネットワークとインターネット」をタップする例で説明します。
この要素で利用可能な属性を確認するためにAppium Inspectorを起動し、設定画面をキャプチャします。

「ネットワークとインターネット」の要素にはtext属性に"ネットワークとインターネット"が設定されていることがわかります。

Appiumのサンプルコードでは、XPathでtext属性を指定して要素を取得し、click関数を呼び出してタップを行います。

        // 「ネットワークとインターネット」をタップする
        e = driver.findElement(By.xpath("//*[@text='ネットワークとインターネット']"))
        e.click()
        Thread.sleep(1000)

Shiratesのサンプルコードでは、tap関数を使用して要素を取得し、タップを実行しています。

        // 「ネットワークとインターネット」をタップする
        it.tap("ネットワークとインターネット")

AppiumではXPathに関する知識が必要ですが、Shiratesでは必要ありません。
また、text属性を使用する場合、Shiratesではtap関数を利用することで極めてシンプルかつ直感的に記述することができます。

ボタンタップ後の同期に関する比較

Appiumのサンプルコードではタップ（click関数呼び出し）後に1000ミリ秒間の待ち合わせを行なった後、機内モードスイッチの要素を取得しています。

        // 「ネットワークとインターネット」をタップする
        e = driver.findElement(By.xpath("//*[@text='ネットワークとインターネット']"))
        e.click()
        Thread.sleep(1000)

        // 機内モードスイッチの状態を取得する。OFFの場合はタップしてONにする
        e = driver.findElement(By.xpath("//*[@text='機内モード']/following::*[@resource-id='android:id/switch_widget']"))

1000ミリ秒以内に画面遷移が完了すれば問題ありませんが、1000ミリ秒を超えてしまった場合は要素を取得できずにテストが失敗します。テスト対象アプリを実行する端末スペックが高い場合はもっと短い時間を設定したほうがテスト実行時間が短くなりますが、端末スペックが低い場合は1000ミリ秒で完了する保証はありません。従って、単純に固定値で一定時間待ち合わせする方法では、テストはその時々の状況で成功したり、失敗したり、無駄な待ち時間を消費したりするようになります。

Shiratesのサンプルコードではtap関数を呼び出した後にThread.sleepによる待ち合わせを記述していません。

        // 「ネットワークとインターネット」をタップする
        it.tap("ネットワークとインターネット")
        // 機内モードスイッチの状態を取得する。OFFの場合はタップしてONにする
        it.select("<機内モード>:rightSwitch")

tap関数は画面遷移が完了するまで（画面上の要素の座標やサイズに変更が発生しなくなるまで）自動で待機します。 また、その後の select関数では、要素が取得されるまでリトライします。 この仕組みによってShiratesではほとんどの場合において明示的にsleepを記述する必要はありません。（必要な場合はselect関数のwaitSeconds引数でタイムアウト時間を指定することができます。）

画面要素の取得に関する比較（設定画面）

ネットワークとインターネット画面の「機内モードスイッチ」をタップする例を使用して比較します。

AppiumのサンプルコードではXPathを使用して、「機内モード」のテキストの後に存在する要素の中でresource-id属性が "android:id/switch_widget" である最初の要素を取得します。

        // 機内モードスイッチがOFFであることを検証する
        e = driver.findElement(By.xpath("//*[@text='機内モード']/following::*[@resource-id='android:id/switch_widget']"))

この画面では "android:id/switch_widget" というresource-idがユニークなのでBy.idで直接取得したほうが簡潔ですが、同じresource-idが画面上に複数存在する場合は、上記のテクニックを使用してユニークな他の要素からの相対関係で要素を取得します。

Shiratesのサンプルコードではセレクター式という記述方法によって、より簡潔に記述しています。

        // 機内モードスイッチをタップする
        it.tap("<機内モード>:rightSwitch")

<機内モード>はtext属性が"機内モード"である最初の要素を表します。:rightSwitchはその要素の右側に存在する最初のスイッチ要素を表します。tap関数はセレクター式 <機内モード>:rightSwitch を解釈して画面上の要素を取得し、タップします。

セレクター式についてより詳細な情報はこちらの記事を参照ください。

検証に関する比較

AppiumのサンプルコードではAssertJ の assertThat関数 を使用しています。

        // 機内モードスイッチがOFFであることを検証する
        e = driver.findElement(By.xpath("//*[@text='機内モード']/following::*[@resource-id='android:id/switch_widget']"))
        val checkState = e.getDomAttribute("checked")
        assertThat(checkState).isEqualTo("false")

検証結果がNGの場合は例外が表示されますが、OKの場合は特に何も出力されません。

Shiratesのサンプルコードでは checkIsOFF() という専用関数を使用しています。

                }.action {
                    // 機内モードスイッチをタップする
                    it.tap("<機内モード>:rightSwitch")
                }.expectation {
                    // 機内モードスイッチがOFFであることを検証する
                    it.checkIsOFF()
                }

検証結果はOKの場合、NGの場合ともにログに出力されます。

コンソール

HTMLレポート

テストの構造に関する比較

Appiumのサンプルコードではフラットにコードを記述しています。可読性を確保するためにはコメントを工夫する必要があります。
テストケースの基本形は

事前条件
アクション
事後条件
ですが、これに沿った記述をサポートするような機能はありません。

Shiratesのサンプルコードでは、テスト関数には必ず1つのscenario関数を記述します。また、その下には1つ以上のcase関数を記述します。

caseの記述には独自の CAEパターン（Condition-Action-Exprectation Pattern） を使用します。

Shiratesでは上記のようにテストを記述するための専用関数の使用を強制することで、構造化され、インデントされ、可読性の高いテストコードを記述することができます。

まとめ

ShiratesはAppium互換でありながら、Appiumの使いにくさを徹底的に解消し、自動テストコード作成の生産性を高めたテストフレームワークです。
OSSなので誰でも入手して無償で利用できます。