はじめに
- AI Computer Vision によって、すべての UiPath Robots がユーザーインターフェイス上のあらゆる要素を認識することが可能になります。
- フレームワークやオペレーティング システムの種類に関係なく、ほとんどの仮想デスクトップ インターフェイス (VDI) 環境で実行される視覚情報ベースの自動化を簡単に構築できます。
- 利用するには 19.10 バージョン以降の UIAutomation パッケージのインストールおよびAutomation Cloud へのログイン・OC接続等が必要です。（以下、OC非接続時の警告ダイアログ参考）
- スタンドアロンで利用する場合、UiPath.ComputerVision.LocalServer をインストールし、CVスコープのプロパティの「ローカルサーバーを使用」 を True としてください。
ローカルサーバーの利用方法
「パッケージを管理」より UiPath.ComputerVision.LocalServer をインストールします。
説明欄に記載のある通り、UIA のパッケージは 22.7.0-preview 版以降に更新してください。
「CV スコープ」アクティビティを配置し、「ローカル サーバーを使用」のオプションを「True」に設定します。
- 推奨ハードウェア仕様：以下のハードウェア仕様を満たすマシンが必要です。
- 4 コア以上の CPU。複数の CPU によってパフォーマンスがスケールするため、8 コアであればさらに効果的です。ただし、16 コアを超えると、スケーリングによる速度の向上はほとんどまたはまったく見込めなくなります。
- AVX2 のサポート: AVX2 命令に対応していない CPU はサポートされません。使用するとエラーが発生します。
- 8 GB 以上の RAM
利用条件を満たさない場合、①または②の様なエラーが表示されます。（②は最新バージョンのUIA）
先の例は CPU の命令フォーマットが非準拠のPCで再現したものです。こちらのハードウェア要件によると命令フォーマットは『AVX2』をサポートしていなくてはなりません。
Intel の「i7-3770K CPU」の場合（私用PCでエラーとなる方）：
Intel の「i7-8550U CPU」の場合（期待動作を得られる方）：
利用条件を満たす場合、要素取得処理実行後に選択したスクリーンのキャプチャがスコープに補完されます。
要素取得の処理速度は体感レベルでは変わりません。参考までに処理速度の実測サンプルを記載します。
- 要素読込時間（秒）：CV画面スコープで読み取り範囲を画面上で指定してから、アクティビティ上にスクリーンショットが補完されるまでにかかる時間です。
- ローカルサーバーで処理できる単語は 800 個に制限されています。
- Robot 実行時の処理速度については、利用するサーバーによる差異は確認していません。
（要素数10～20個のキャプチャ例）
（要素数20～30個のキャプチャ例）
（要素数50個以上のキャプチャ例）
記号やマーク、アイコンといった要素の取得では若干の差異のみですが、文章の読み取りでは UiPath のサーバーをもちいた方が精度が高くなる傾向を確認しました。（以下、一例。ハイライトされている部分のみCV操作が可能です。）
参考ガイド
Computer Vision のアクティビティガイド：
Computer Vision をローカルサーバーで利用する際の留意事項：
最後までお読みいただきありがとうございます(=ﾟωﾟ)ﾉ