【UiPath】バージョン「21.10」LTSリリースまとめ - 3（UiAutomation編）

はじめに

この投稿は、RPAツール「UiPath」で 2021年10月にリリースされた、バージョン「2021.10（LTS）」について「個人的に」 まとめたものです。

沢山あるので、5回に分けて紹介します。今回は第3回として「UiAutomation」系のリリースを説明します。

まとめ構成
　- 1回目：Studio
　- 2回目：StudioX
　- 3回目：UiAutomation
　- 4回目：その他

各記事へのリンクはこちら

当記事）【UiPath】バージョン「21.10」LTSリリースまとめ - 3（UiAutomation編）

未投稿の記事）【UiPath】バージョン「21.10」LTSリリースまとめ - 2（その他編）

目次

今回紹介する内容は下記になります。

 - 1）プロジェクト作成時のデフォルトが「UiAutomationモダン」に
 - 2）複数アプリでネストした際のUI要素選択が容易に
 - 3）新しいバックグラウンド実行モード
 - 4）すべての要素をキャプチャ
 - 5）オブジェクトリポジトリで「UiAutomationモダン」のレコーダーを使用可能に
 - 6）テキストを取得で抽出結果プレビュー
 - 7）モダンデザインの「属性を取得」アクティビティ
 - 8）Excel/パワポのスコープ内でUiAutomarionの直接使用
 - 9）変数サポートの改善
 - 10）マウススクロールで特定要素まで移動を指定可
 - 11）検証実行（クリック、タイプ、ショートカット、ホバー）での画像／テキスト検知
 - 12）Excel ファイルを使用（カード） をアプリとして使用できる
 - 13）文字を入力で正しい入力方法を自動的に設定
 - 14）ブラウザ移行ツール
 - 15）ブラウザーランタイムの変更
 - 16）MsのRemoteAppをサポート
 - 17）AutomationOpsで実行アプリ・アクセスURLの許可／禁止ルール
 - 18）要素無しエラー時の「最も近い要素」非表示
 - 19）新しい入力方法：Chromium API
 - 20）ブラウザデータ設定／取得アクティビティ
 - 21）ブラウザを開く アクティビティの「WebDriver自動ダウンロード」オプション
 - 22）Salesforce Lightning のUi要素認識改善
 - 23）表データ抽出の編集が可能に

1）プロジェクト作成時のデフォルトが「UiAutomationモダン」に

新規で作成するプロジェクトは「モダンデザイン」になっています。
とはいえ、クラシックアクティビティを使用することも「クラシックデザイン」に切り替えることも可能です。

Studio v2020.10またはv2021.4からアップグレードする場合、以前のバージョンの[新しいプロジェクトにモダンを使用する]設定は変更されません。

AutomationHub側にも「新しいプロジェクトでモダンを使用」という設定項目があり、どうやら、こちらの設定が優先されるみたいです。

2）複数アプリでネストした際のUI要素選択が容易に（Nested Use-app cards）

複数アプリを入れ子で操作する場合に「どのアプリの操作なのか？」を意識できるようになりました。要素選択時にアプリ名が表示されます。

3）新しいバックグラウンド実行モード（Background automation）

現在開発中でリリース時期未定ですが「UIAutomation –モダン」の機能として「新しいバックグラウンドモード」の機能として、バックグラウンドでもUI操作できるようにする　みたいです。
ただし「キーボードショートカット」や「スクリーンショット」などはフォアグラウンドに干渉するので出来ないかも？とのこと。

4）すべての要素をキャプチャ（Capture all elements on a screen）

オブジェクトリポジトリを利用して要素のキャプチャする際に「画面上のすべての要素をキャプチャ」が出来るようになりました。「とりあえず全部取得していて、後で使う」という使い方ができます。
UIオートメーションおよびStudioの最初のAIを利用した機能らしい。

Studio利用のユーザーで、AutomationCloudにログインしAPIkeyを設定しておく必要があります。
（Ui要素の全取得時のAIスキル利用のために必要みたいです）

5）オブジェクトリポジトリで「UiAutomationモダン」のレコーダーを使用可能に

アプリ/WebレコーダーでUi要素を記録する際に、オブジェクトリリポジトリと連携できるようになりました。

すでに登録済みの要素は「再利用しますか」ダイアログが表示されます。

6）テキストを取得で抽出結果プレビュー

GetTextアクティビティは、テキスト抽出の処理方法が「自動で最適の方法を選択」出来るようになりましたが「取得結果がどうなるのか？」の確認ができませんでした。
今回のアップデートで、抽出結果を変更しながらプレビューする機能が追加され、確認しながら利用な方法を選択できます。

7）モダンデザインの「属性を取得」アクティビティ

シンプルでわかりやすくなりました。属性は「最も使用されている属性」が上にリストアップされます。

8）Excel/パワポのスコープ内でUiAutomarionの直接使用

StudioXで「Excel ファイルを使用」アクティビティと「PowerPointを使用」アクティビティの中で「UiAutomation系」アクティビティを使用する場合、「アプリケーション/ブラウザーを使用」アクティビティで囲う必要がなくなりました。

9）変数サポートの改善（Nicer variable support）

セレクタ要素内で変数を選択する際に、その場で変数を作成（宣言）できますが、その際に「デフォルト値」も設定できるようになりました。

10）マウススクロールで特定要素まで移動を指定可

マウススクロールアクティビティは、使用簡素化のために、いくつかのUXと操作が更新されました。（詳細は説明がありません）

新デザイン	旧デザイン

11）検証実行（クリック、タイプ、ショートカット、ホバー）での画像／テキスト検知

Click、TypeInto、Hover、KeyboardShortcutsアクティビティの「実行検証」で「テキストの変化・表示の変化」を指定できるようになりました。

12）Excel ファイルを使用（カード） をアプリとして使用できる

Excel ファイルを使用 アクティビティが「アプリケーションを使用」アクティビティと同じように「カード」として機能するようになりました。
これにより「UiAutomationNext」系アクティビティだけでなく、「クリック・入力」系アクティビティや以前からある「Excel系」アクティビティも、カードの内部で使用できるようになります。

13）文字を入力で正しい入力方法を自動的に設定

入力の「速度・安定性」をあげるために、入力方法を考えなくても「入力モード」の横のボタンを押せば、実際の入力欄から入力方法を自動で判定してくれます。

UiAutomationNextの新しいアクティビティ「UiPath.UIAutomationNext.Activities.NTypeInto」の機能です。

14）ブラウザ移行ツール

Ver18.4以降のStudioで作成されたプロジェクトを読み込み、指定のブラウザ用の要素に自動変換したxamlを出力するツールです。

このツールは、cloud.uipath.comの「リソースセンター」からダウンロードできます。

15）ブラウザーランタイムの変更

従来の「クラシックオートメーション（モダンじゃないもの）」を使用している場合、プロジェクト設定の「UIAutomationクラシック」で「ランタイムブラウザー」を変更すれば、ターゲットブラウザに切り替えることができます。

16）MsのRemoteAppをサポート

UiAutomationは「RemoteRuntime」経由でRemoteAppの操作ができるようになりました。

RemoteAppは、Windows Serverのリモート デスクトップ サービスが提供する機能の１つで、ホストで実行されるアプリケーションの画面だけを転送してクライアントのデスクトップ上に表示・操作させる、アプリケーションの仮想化を実現する機能です。

17）AutomationOpsで実行アプリ・アクセスURLの許可／禁止ルール

Automation Cloud の管理メニューにある「Automation Ops」で、ロボットのポリシーを設定できるようになり、実行許可／禁止のアプリケーション・URLを指定できるようになりました。

ポリシーが適用されるアクティビティの場合にチェックされます。「アプリケーションを開く (Open Application)」 や「アプリケーション/ブラウザーを使用 (Use Application/Browser) アクティビティ」が対象のようです。

18）要素無しエラー時の「最も近い要素」非表示

Ui要素が見つからなかった場合に、エラーメッセージに
「このセレクターに対応するUi要素が見つかりませんでした。見つかった最も近い一致は次の通りです・・・」
という内容が追記されないように、project設定画面で指定できるようになりました。

19）新しい入力方法：Chromium API

Chromiumベースのブラウザ（ChromeとEdgeChromium）で互換性を高める新しい入力方法「Chromium API」が追加されました。

20）ブラウザデータ設定／取得アクティビティ（Get/SetBrowserData）

ページによっては「ブラウザセッションデータ（認証クッキーなど）」が必要なものがありますが、「ブラウザデータ設定／取得」アクティビティを使って引き継げるようになります。
例えば、人がログインした後でロボットがそのセッションを引き継ぐなども可能です。
現時点ではEdgeブラウザーでのみ機能します。Chromeのサポートはまもなく提供されます。

21）ブラウザを開く の「WebDriver自動ダウンロード」オプション

（UiAutomationClassicのアクティビティ）
ブラウザを開く アクティビティで「AutomaticallyDownloadWebDriver」オプションをチェックすると、Webdriverが自動でダウンロードでされるようになります。

22）Salesforce Lightning のUi要素認識改善

SalesforceのLightningは、ページ更新時にフロントエンドで動的に要素が変化するため、操作が困難だったのですが、UiPath UIAutomationは「適切なUIコントロールの識別と専用アクティビティの簡単な使用法」を実装しました。Lightningフレームワークの中心にある属性に基づいて、変更に対する信頼性と回復力の高いセレクターを生成します。

23）表データ抽出の編集が可能に（Edit Table Extraction）

テーブル構造の表データ抽出をするさいに表示されるウィザードが、抽出後の編集時も表示出来るようになりました。画面上でデータ列の追加や変更、確認ができます。

UiAutomationNextの新しいアクティビティ「UiPath.UIAutomationNext.Activities.NExtractData」の機能です。

※ オブジェクトリポジトリは、まだサポート対象外です。

終わりに

今回は「UiAutomation系」のアップデートを中心に紹介しました。
新バージョンの理解に少しでも役立てば幸いです。

この記事が参考になったら、 LGTMをお願いします。閲覧ありがとうございました。