よくできたRPAソフトウェアではユーザーインターフェイスの構造解析ライブラリーを活用して、多少環境が変わってもUI要素を追従して正しい操作をしてくれます。今回はどれくらい環境を変えるところまでRPAソフトウェアが耐えられるのか、ストレスチェックをしてみたいと思います。

ユーザーインターフェイスの種類もいろいろあるので、今回は標準的なもの、かつ昔からあるアプリケーションで実装されている「Windows デスクトップアプリケーション (C++)」タイプで試します。

使用するRPAソフトウェアは、UiPathとAutomation Anywhereの2つです。これらはいずれもUI Automationと呼ばれるUI構造解析ライブラリーに対応しており、レコーディングにも対応しているため、RPAソフトウェアの中では優秀な部類に入ります。この2つにどこまでできるかやらせてみましょう！

(これらはいずれもCommunity Editionが無料で取得できます。)

利用した環境

UiPath Community Edition (2019.8.0)
Automation Anywhere Community Edition 11.0.0.0 (Build19922720)
Microsoft Visual Studio Community 2017 (15.9.16)
Microsoft Windows 10 Version 1809

Visual Studio のWindows デスクトップアプリケーションテンプレートを改造

まずは、操作をさせる元となるデスクトップアプリケーションを作ります。Microsoft Visual Studio Community 2017を開いて、新しいプロジェクトから「Windowsデスクトップアプリケーション (Visual C++)」を選びます。

このアプリケーションテンプレートでは、「ファイル」「ヘルプ」というメインメニューがあるメインウィンドウと、バージョン情報ダイアログボックスの2画面から成っています。今回はこのうちのバージョン情報ダイアログボックスを少しいじって、いろいろな標準コントロールを足してみます。

その結果がこちら。Check Box、Edit Control、Combo Box (Dropdown)、Radio Button、Slider Control、Date Time Picker、Month Calendar Control、IP Address Controlを追加で配置しました。これをビルドしてWindowsProject1.exe(通常版)を作成します。

実行して「ヘルプ」-「バージョン情報」を開くと、以下のような画面になります。(バージョン情報ダイアログボックスは、親ウィンドウの左上近くから描画されています)

ストレスチェックバージョンの作成

RPAソフトウェアにストレスを与えるための変型版を作成してみます。ひとつは、ダイアログボックスのリソースファイルで「位置」の "Center" をTrueにして、ダイアログボックスの表示位置を画面中央になるようにしたバージョンです。これをビルドしてWindowsProject1.exe(ウィンドウ位置変更版)を作成します。

もうひとつ、ダイアログボックスの中のコントロールの場所を大きく変えてしまうものも作ってみましょう。こんな風にレイアウトを変えてみました。タブオーダーは変更していません。これをビルドしてWindowsProject1.exe(レイアウト変更版)を作成します。

操作の手本

メインウィンドウが立ち上がった状態で、マウスで「ヘルプ」-「バージョン情報」を開いて、Check1をマウスでON、その下のEdit Boxをクリックして "ABCDEFG" と入力、その下のCombox Boxをクリックして "ABC" と入力、その下のRadio2をクリックしてON、さらにその下のスライダーを一番左から2回に分けて図の位置までドラッグしてくる、右側に移って、Month Calendar Controlで "27" をクリックして選択、その下のIP Address Controlの4つの数字入力部分をそれぞれクリックして "33" と入力して終了、という動きです。

1. Automation Anywhere スマートレコーダーで記録して再生してみる

まずAutomation Anywhere Community Editionで操作を記録して再生してみましょう。Automation Anywhereの3つのレコーダーのうち、デスクトップアプリケーションを記録するための最も技術の高いしくみは「スマートレコーダー¹」なので、この方法で記録します。

この方法では、画面右下に以下のツールバーが出ている間、最初に指定したウィンドウ上で操作を行うと、それが記録されていきます。動作としては記録中はマウス操作が多少慣性がついて重く感じるのと、時々マウスの場所が飛ぶのが気になりますが、慣れれば対応できるでしょう。

記録を終了すると、以下のようなアクションリストが自動的に生成されます。

「Visualize」タブでは、要所要所で記録されたユーザーインターフェイスのスクリーンキャプチャが記録されています。

1-1. 通常の再生

生成されたアクションリストを再生してみると、以下の結果を得ました。Slider Controlのつまみの位置がずれている以外はOKです。Sliderはマウス操作のみなので誤差が出やすいですが、これは該当するコマンドを編集することで修正できます。

1-2. 画面の拡大率を変えるとどうなるか?

Windows 10の設定で、「テキスト、アプリ、その他の項目のサイズを変更する」で100%から125%に変更してみます。

この状態での実行結果はこちら。100%の時と同様、きちんと実行されています。

100%と125%の画面を重ね合わせてみると、各コントロールの位置はだいぶ違うことがわかります。このような違いがあっても、UI構造解析を行っていれば止まることなく操作を再現させることが可能なことがわかりました。

1-3. ダイアログボックスの場所を変えるとどうなるか?

バージョン情報ダイアログボックスが画面中央に表示されるように変更したアプリケーションWindowsProject1.exe(ウィンドウ位置変更版)を実行します。結果はこちら。

実行時に、一瞬バージョン情報ダイアログボックスが画面中央に表示されるのですが、その後Automation Anywhereが強制的にダイアログボックスの表示位置を元に戻しているようです。これも、正しい結果が得られました。

1-4. ダイアログボックスのレイアウトを変えるとどうなるか?

WindowsProject1.exe(レイアウト変更版)を実行して操作してみると、以下のようにCheckbox1がONになった次のテキストボックスが見つけられずにエラーが表示されます。各コマンドをコメントアウトしてひとつずつ調べていくと、CheckboxやRadio Buttonなど、テキストが入っているコントロールや、Slider Control、Monthly Calendar Controlは場所が変わっても正しく認識するものの、Edit Box、Combo Box、IP Address Controlは難しいようです。これは、後の考察セクションで詳しく見てみます。

ちなみに、以下のような、もっとレイアウトを大きく変更したバージョンでも結果は同様でした。

2. UiPath デスクトップレコーディングで記録して再生してみる

次にUiPath Community Editionで操作を記録して再生してみましょう。UiPathの5つのレコーダーのうち、デスクトップアプリケーションを記録するための最も技術の高いしくみは「デスクトップレコーディング」なので、この方法で記録します。

以下のツールバーで「レコーディング」モードにして進めます。

「レコーディング」モードの間は、拡大鏡があらわれてマウスカーソル周辺を拡大してくれるのと、マウスカーソルが選択しているコントロールに枠線が付けられるので分かりやすい。

記録を終了すると、以下のような巨大なシーケンスが出来上がります。

2-1. 通常の再生

生成されたシーケンスを再生してみると、以下の結果を得ました。Edit BoxとCombo Boxのテキスト入力領域がうまく識別できず、いずれもEdit Boxにテキストが入力されてしまうのと、IP Address Controlも後ろの3つの数字が入らずに、すべて最初の場所に入力されてしまっています。前者は該当するアクションを編集することで修正できましたが、後者は簡単には修正できなかったので主題とは関係ないためそのままにしました。(マウスでの操作をやめてタブキーで移動するように改変すれば入力はできるはず) 前者の改変の仕方は後の考察セッションで見てみることにします。

2-2. 画面の拡大率を変えるとどうなるか?

Windows 10の設定で、「テキスト、アプリ、その他の項目のサイズを変更する」で100%から125%に変更した状態での実行結果は、100%の時と同様、きちんと実行されています。

2-3. ダイアログボックスの場所を変えるとどうなるか?

バージョン情報ダイアログボックスが画面中央に表示されるように変更したアプリケーションWindowsProject1.exe(ウィンドウ位置変更版)を実行します。これはうまく再生されます。Automation Anywhereの場合は、むりやりウィンドウの位置を記録時の場所に移動していましたが、UiPathでは移動することなく正常に終了します。

2-4. ダイアログボックスのレイアウトを変えるとどうなるか?

WindowsProject1.exe(レイアウト変更版)を実行して操作してみると、UiPathの場合は、今までと同様に正しく認識して正常終了しました。

もっと大きくレイアウトを変更したバージョンでも、同様に正しく認識して正常終了しました。

考察

Automation Anywhere

レイアウトを変更したときにうまく動かなかったのは、以下の緑色にしたObject Cloningコマンドです。

これらを編集すると、Object Cloningコマンドが何を識別としてコントロールを認識しているかがわかります。たとえば、Check Boxでは、NameがCheck1と等しいか、TypeがCheckboxか、とPathの値で見分けています。

右上の「Select Search Criteria」ボタンをクリックしてみると、他のさまざまな候補も表示されます。双眼鏡マークが表示されているものが、識別子としてONになっているものです。これをON/OFFしてみることで、より良い条件を探し出すことが可能です。使えるものとしては、コントロールに入力されている値 (Value)、クラス名 (Class)、タブオーダー (Index)、座標とサイズ (left, Top, Height, Width)などです。識別子としてONするものを追加しておくと、認識がうまくいかなかったときは追加で条件に加えてくれるようです。

IP Address ControlはDescriptionに固有の値が入っていたので、これを条件に加えることで、場所が変わっても正しく認識するようになりました。

Edit BoxはClassの追加でうまく認識するようになりました。

Combo Boxはというと、Classの追加で、Edit Boxと同じフィールドに値が上書きするようになりました。Index (タブオーダー)は今回はすべてのコントロールで同じにしてしまったのですが、これが違う値であればこれが固有の識別子として使えたかもしれません。

Automation Anywhereでは、Object Cloningコマンドの各プロパティを見て、固有のテキストが含まれているプロパティを識別子として追加したり、Class名を追加しておくと、今後バージョンアップでUI変更があった時の追従の確率があがるかもしれません。

UiPath

うまく認識ができなかったコントロールのアクティビティを選択してプロパティを見ると、「入力」-「ターゲット」-「セレクター」で、どの属性でコントロールを識別しているかがわかります。

今回の場合は、Edit BoxとCombo Boxで、ctrlidが同じ1001と認識されてしまっていたので、Combo Boxのほうを1002 (このIDはあてずっぽうできっと隣であろうということでずらして試してみるとうまくいった！)に書き換えれば正しく認識するようになります。

まとめ

UiPathもAutomation Anywhereも、UI構造解析ライブラリー (UIAutomation)を利用しているため、ウィンドウやコントロールの場所や大きさがかわっても、基本的にはきちんと認識します。ただしそれぞれまだ不完全な場所があるので、癖を把握しながら手探りでよい設定方法を見出す必要があります。そのような作業の一助になれば幸いです！

次回は.NET WPF、UWP、Webアプリなどでも同様のことを試してみたいと思います。

Automation Anywhereで持っているAIによる高度なフィールド認識機能 (AISense)はこの方法には含まれません。 ↩