More than 1 year has passed since last update.

【C#】.NET デスクトップアプリ向けE2Eテスト用ライブラリを実装しました

Last updated at 2022-11-28Posted at 2022-11-28

背景・動機

.NET デスクトップアプリでE2Eテストを実施したいと思った時、Webを検索してみてたどり着く先はWinAppDriverだと思うのですが、それを使っていざE2Eテスト実装してみると色々面倒だったので、簡単にE2Eテストを導入するためのライブラリを作りました。

boilersE2E というライブラリになります。

必要機能の洗い出し

E2Eテストを実行するには前提として、C:\Program Files\Windows Application Driver\WinAppDriver.exe が起動されていることが必要です。そしてE2Eテストを実行終了したら、後始末をするべきです。そこで (1) テスト実行前にC:\Program Files\Windows Application Driver\WinAppDriver.exe を起動 し、(2) テスト実行後にC:\Program Files\Windows Application Driver\WinAppDriver.exe を終了 するような実装をします。

WinAppDriver を使ってE2Eテストを作る時、C#コードにはAppium.WebDriverというライブラリが必要になります。私はこれをSeleniumの文法に沿ってC#向けにアレンジされたものだと認識しています。つまりSeleniumの方言をそのまま利用できるので、一度でもSeleniumを勉強していればその知識は再利用可能です。

ただし、Appium.WebDriverには要素の検索を実行する際、タイムアウト時間を指定できますが、これはE2Eテスト全体（厳密に言うとWinAppDriver.exe実行単位）に影響を及ぼすので、局所的にタイムアウト時間を短くしたいという要望には答えれていません。そこで、boilersE2Eでは (3) 個々にタイムアウト時間を指定できる要素の検索メソッド を実装します。

(4) Windows Presentation Foundation(WPF) および Windows Forms をサポート します。

それから自分の開発環境上でE2Eテストを実行する時は何の不便も感じないのですが、これをAzure DevOps のパイプラインでE2Eテストを回そう！というときに大きな障害があります。それはテスト失敗時のデバッグのしにくさです。どうやってデバッグするの？？？という読者の疑問が目に浮かびますが、2つ方法があります。
1つ目はログを記録することです。NLog等のライブラリを使ってテストコード1行ごとに、標準出力や標準エラー出力にログを出力することで、最低どの処理でつまづいたかぐらいは確認することができます。
2つ目はスクリーンショットを取ることです。はて、スクリーンショットを取ったところで、一体その画像ファイルはどこで見れるの？という疑問が生じるかと思いますが、MsTestとNUnitにはテスト結果に任意のファイルを添付することが可能です。（xUnitについてはv3でその機能が実装されるようです。いつv3がリリースされるのか、待ち遠しいですね。詳細は以下のリンクを残しておきます。
xUnit v3 Roadmap
Add outgoing metadata to TestContext ）

上記の内容の詳細は1年前に解説してたので、よろしければそちらもご覧ください。

boilersE2Eとしてはとりあえず (5) MsTestとNUnitについてはスクリーンショットの添付が可能 なので、実装しておきます。実装方法が気になる方はソースを覗いてみてください。E2ETestFixtureクラスのTakeScreenshot(string filename)がそれです。

なお、今回はテスト結果への添付の対象としては、スクリーンショット限定としていますが、任意のファイルフォーマットで添付することは可能なので、必要に迫られたら、実装する感じでしょうかね。

boilersE2E の機能

(1) テスト実行前にC:\Program Files\Windows Application Driver\WinAppDriver.exe を起動
(2) テスト実行後にC:\Program Files\Windows Application Driver\WinAppDriver.exe を終了
(3) 個々にタイムアウト時間を指定できる要素の検索メソッド
(4) WPF および Windows Forms のサポート
(5) （MsTest, NUnit対象）スクリーンショットの添付

boilersE2E の使い方

3 各種設定については後日加筆します。
お急ぎの方は、詳しくはGitHubのREADME.mdをご覧ください。

すべてのテストフレームワークで必須

WinAppDriver をインストールします。
E2Eテストを実行するシステムで、boilersE2ETestEnvironmentVariableName に指定した名前の環境変数を作成し、値を true にします。 Azure DevOps pipeline でE2Eテストを実行する場合は、 Windows Application Driver タスクを実行するので false を指定してください。

MsTestユーザー向け

E2E テストプロジェクトを作成し、Nugetで boilersE2E.Core と boilersE2E.MsTest を追加します。
各種設定（未執筆）
テスト実装

NUnitユーザー向け

E2E テストプロジェクトを作成し、Nugetで boilersE2E.Core と boilersE2E.NUnit を追加します。
各種設定（未執筆）
テスト実装

xUnitユーザー向け

E2E テストプロジェクトを作成し、Nugetで boilersE2E.Core と boilersE2E.xUnit を追加します。
各種設定（未執筆）
テスト実装

サンプルのE2Eテストを実行してみる

下記はE2Eテストの動作確認のために、仮想敵として実装したWPFの電卓アプリとWindows Formsの電卓アプリです。2022/11/28時点でバージョンに差異があり、Windows Forms版だとペーストに対応しています。WPF版だとペーストには対応していません。そのうちに実装したいと思います。