ボタンをパターンマッチングにより認識して操作したい！

RPAの開発を行っていると、画面のオブジェクトを認識できず、OCRや画像認識によって位置を特定して操作したいケースに少なからず遭遇します。
IBMRPAでは「類似性によるイメージの検索」というコマンドがあり、これを用いることでパターンマッチングによりボタンなどの位置を特定することが可能です。この記事では、「類似性によるイメージの検索」コマンドを実際に使ってみて、使用法などについて説明したいと思います。

「類似性によるイメージの検索」コマンド

このコマンドでは、以下のパラメータを指定することで、検索した画像の座標を取得します。その後、その座標に対してクリックなどを行うことで、目的の処理を実装することが可能です。

イメージ：検索する基準となる画像。既存のアセットや、ツールにより選択することが可能です。
前面のウィンドウで検索：これをONにした場合、前面のウィンドウでのみ検索が実行されます。
領域：検索対象となる領域
類似度：検索対象と基準となる画像の類似度。ここが高いほど、厳密に類似性が検証されます。

ここでは、ためしに、IBMRPAの開発ツール上で、レコーダー機能を開始するボタンの領域(中央上の赤い二重丸)をツールで選択して座標を取得し、ログに出力してみることにしました。

結果、以下のように、正しく座標を取得できました。また、座標取得後に「マウスクリック」コマンドを用いることでレコーダー機能が開始されることが確認できました。

まとめ

IBM RPAを用いて、パターンマッチングによるオブジェクト座標の取得を確認することができました。
これ以外にも「OCRによるクリック」というコマンドもあり、ボタンに表示されているテキストをOCR
OCRによって読み取りクリックするようなコマンドも利用可能です。WindowsのオブジェクトのIDを直接取得可能なケースではそちらを用いたほうが確実ではありますが、上手く取得できないケースなどでは、これらのコマンドやキーボード操作を用いてボットを実装することになります。

※Japan Business Automation User Groupのご紹介

IBMのコミュニティーである、Japan Business Automation User Groupでは、IBMのBusiness Automation製品関連の様々な技術情報、イベント情報の参照や、フォーラムを介した技術的な質問を行うことが可能です。是非ご参加ください。　http://ibm.biz/JPBizAutomationUG