今回調査した自動化ツールまとめ

XCUITest
Earl Grey
appium
KIF

XCUITest

Xcode7から利用できるようになったデフォルトツール

XCTestを拡張し、さらにはAccessibilityの機構を使うことができる

メリット

アプリケーションと同じ言語で書かれている(swift)

テストステップ毎にスクリーンショットを自動で撮影してログに残してくれる

シミュレータを操作してテストコードを生成することもできる(UI Recoding)

sleep/waitの処理を書かなくてもある程度はやってくれる(3回tryしてくる)

Xcode内に統合されているため導入が簡単

シュミレーターでのUIテストは結構はやい

デメリット

レコーディングで作成したコードだけでは完璧なUIテストはできない

XCUIElementTypeではないUIオブジェクトは扱えない

長い通信状態が発生する場合ではsleep/wait処理を書かなくてはいけない

任意のタイミングでスクリーンショットが取れない

任意のタイミングでスクリーンショットを撮りたいのであればfastlane/snapshotで補完する方がいい

fastlane/snapshotではスクリーンショットを一覧するためのHTMLファイルも作成してくれる

snapshot runで実行が簡単である

Earl Grey

Google製のiOS自動テストフレームワーク
https://github.com/google/EarlGrey

メリット

Cocoapodによるインストールで使えるので導入が簡単

Xcode内に統合できる

UI automationを簡単に書けるようにしているのでAccessinility Identifierによる認識ができる

GithubでのEarlGreyのドキュメントが結構充実している

テストはUIと対話する前のアニメーションや、ネットワーク接続などのイベントを自動的に待機しする。

この際、特にスリープなどを書く必要がないため、テストコードはシンプルになる。

デメリット

長い通信状態が発生する場合ではsleep/wait処理を書かなくてはいけない

任意のタイミングでスクリーンショットが取れない

accessibilityIDで要素を取得しているので内部コードを変更しなくてはいけない

Recording機能がないので最初から全て自分で書かなくてはならない

Appium

オープンソースのテスト自動化フレームワーク
https://github.com/appium/appium

メリット

お気に入りの言語(rubyやpythonなど)でテストがかける

iOSとAndroidでテストコードを共通化できる

シミュレータを操作してテストコードを生成するRecording機能が使える

Appium自体はHttpServerであり、iOSの場合はこのサーバーからInstrumentsを経由してクライアント(端末側)を操作しているので、テストするアプリに全く手を加えなくていい

デメリット

appiumの導入は他のUIテストツールも多少時間がかかる

iOS開発言語であるswiftでテストコードが書けない

Recording機能でのテストコードの作成がかなり遅い

KIF

Squareが開発しているiOSテスト自動化フレームワーク

メリット

SwiftとObject-Cでテストコードが書ける

CocoaPodsによるインストールで使えるので導入が簡単である

開発者自身で操作の定義をすることもできる

デメリット

accessibilityIDで要素を取得しているので内部コードを変更しなくてはいけない

Swiftでも書けるがSwiftの文献がかなり少ない

参考文献

http://qiita.com/dreamagicjp/items/d48fc2be16b8e04937d4
http://qiita.com/IsaoTakahashi/items/f9c3ef367d7e0f60e2d6
http://www.slideshare.net/kenichitatsuhama/appium-ios-android-ui