power automate desktopでデスクトップアプリを操作する方法

経緯

これまでRPAツールとしてWinActor、UIPathのみを使ったがあった。 現状はどうなっているかまでは終えていないが、WinActor、UIPathでアプリのUI操作をしようとすると精度のあまり高くない画像認識で要素を探したり、座標で指定したりとあまり安定性の高くない操作方法のみであった。

数年前にPower automate desktop（以下Pad）が無料で使用できることは知って触れる機会がこれまでなかったが、今回案件の都合上RPAを交えて自動化する必要があったため、Padを使ってデスクトップアプリの自動化を図った。

伝えたいポイント

PadにおけるUI操作

Padではデスクトップで起動しているアプリケーションの要素を構造化して、ブラウザのDOMのように指定して取得することができる。 「UI要素を指定」という操作で、画面上で要素を選択することができ構造的に指定しているため、精度が高い。

注意点

「UI要素を指定」で取得できる構造は、htmlのdomと同じく重複する可能性があり、UI要素のみで指定できない場合はkey操作や、別の方法が必要である。