はじめに
- 本記事は、v23.10でリリースされた統合ターゲットの Computer Vision の挙動を確認した際のメモです。
- 記事の内容は、個人の見解または確認結果であり、UiPath の公式見解ではありません。
- 製品仕様や参考画像は 24.10 バージョンのもので構成しています。
統合ターゲットの Computer Vision とは？
↑上図の様に、標準のUIAアクティビティでターゲットを指定する際に出てくるこのダイアログのこととおもってください。
このダイアログの右上の半導体みたいなアイコンを押すと Computer Vision が使えます。（詳細は以下のガイドを参照）
この機能の正しい使い方は UiPath MVP の Jun様が投稿されている以下の記事を参考にしてください。（本記事はわたしが気になった点のメモでしかないです）
これだけは知っておいて！
製品側の仕様としてちょっとわかりづらく、利用者の方が損しそうなポイントだけ先に書いておきます↓↓
従来のCVアクティビティ同様に、OCRエンジンは変更できます！ただし、導線は「アプリケーション／ブラウザーを使用」のハンバーガーボタンからです。
Extended Language OCR はまだ使えなさそう（2024年11月14日 時点）
CJK-OCRはちゃんと使えます。上図右下に「ファイル(F)」と表示されています。
CVアクティビティ時代からそうですが、エンドポイントは忘れずに指定しましょう！
STXだと既定のプロジェクト設定でオブジェクトリポジトリへの自動追加が有効のため、無効にしないとセレクタのチューニングができない
STでは同設定でもオブジェクトリポジトリとのリンクを解除すればチューニング可能です。
なんか凄くないか？(＠_＠;) っておもった集
【凄➀】部分一致でもちゃんと拾う
メモ帳の「ファイル(F)」でセレクタ取得して、CVテキストを変数化し、「表示(V)」ではなく、「表 (V)」でテスト ➢ 結果：〇（ちゃんと「表示(V)」が押下される）
💡「*」ワイルドカードを使わなくても部分一致判定される
✔ 「フ」の一文字でも「ファイル(F)」ボタンは押下された。 ← これは流石に一致率の閾値が緩すぎる気はする（汗）
✔ 「(V)」で実行したら次の様に類似要素が複数見つかった、のエラー ← スコープ内での一意判定はおこなっていそう
【凄➁】折り返しもなんのその
例外テストで画面サイズを変えておいて実行しましたが、ちゃんとクリックしました！（検索文字（変数）には「ヘルプ」と入力しています。）
【凄➂】表示が確認できれば、出現位置は変わっても問題ない
PC画面の左中央でメモ帳を開いていましたが、右中央に移してから実行テスト ➢ 結果：〇（ちゃんと「ヘルプ(H)」が押下されました）
💡対象項目が表示されていないケースではちゃんとエラーになります。
【凄➃】Googleマップで地図移動までできてしまう
「ドラッグ アンド ドロップ」アクティビティ × Computer Vision で地図移動もできました！
（実行前）
（実行後）
さいごに
いかがでしたでしょうか。
Xaml内に座標情報は保持しているものの、プロパティには表示されない＝実質ＣＶテキストの内容以外はセレクタ上で編集するものがないシンプルな仕様にもかかわらずこのパフォーマンスは凄いとおもいます(＠_＠;)
これまで、リモートデスクトップアプリの自動化する、かつ、リモートランタイムで操作できないときに使うものって頭でしたが認識あらためます。
積極的に利用して、安定するようだったらスタンダードにしていこうかなとすらおもいました。
最後までお読みいただきありがとうございます(・ω・)ノ