はじめに

今度は、画像認識アクションを使ってみます。

画像認識パッケージの基本的な使い方

使い方の説明は以下。
https://docs.automationanywhere.com/jp-JP/bundle/enterprise-v2019/page/enterprise-cloud/topics/aae-client/bot-creator/commands/cloud-image-recognition-action.html

(1) 画像を探す範囲を指定する。
(2) その範囲の中で、探す対象となる画像を指定する。
という形をとります。

ここで(2)の探す画像を
予め用意した画像ファイルで指定するのが「ウィンドウで画像を検索」、
探す対象の画像を画面内(ウィンドウ内)から指定するのが「ウィンドウでウィンドウを検索」、
になります。

簡単な例でGoogle Mapのとある範囲でワイナリーを探してみます。
ここでは「画像認識: ウィンドウでウィンドウを検索」を使います。
まず(1)にあたる探す範囲を指定。
対象のウィンドウを選択し、「領域をキャプチャ」で範囲を指定。

次に、「ターゲット画像をキャプチャ」で探したい画像を画面上からキャプチャします。
ここではワイナリーのマークをキャプチャします。

小さい画像だとなかなか範囲指定が難しいです。

一つの使用例

これで、指定範囲でワイナリーを見つけたら、そこをクリックします。

オプションの指定

「検出回数」というのが最初わかりませんでした。
どうやら、探す対象画像が複数回検出されたときに、一致があったとみなす機能のようです。
上の例で指定した探索範囲にはワイナリーが３個あります。
検出回数が１～３のときは、一致でのアクションが走りますが、検出回数を４にすると見つからない、というエラーになります。

検出回数を１～３と変えるとクリックする場所も変わるので、何回目に見つかったかを意識してアクションを起こしているようです（ただ、どういう方向で探索しているのかはWeb上では不明でした）。

「検出回数」はなかなか使い所が難しそうですが、１Km四方に１０個以上学校があるところをしらみつぶしに探す、なんて事には使えるかもしれません（ほぼ冗談）。

「一致率」という部分も気になるので、これはまた別の記事で書いてみたいと思います。

おまけのひとこと

改めて確認してみると「検出回数」ってAutomation Anywhere V11からありますね。
全くノーマークでした。