概要
WinAutomationのCongnitiveアクションにより比較的手軽にCongnitiveサービスを試すことができます。そこでMicorosoft Azure Computer VisionとGoogle Cloud Platform Vision APIを試してみます。
注意
WinAutomationはPowerAutomate per user plan with attended RPAプランに含まれています。
WinAutomationについては@nakaamino様の記事に詳しく紹介されています。
執筆は2020年8月16日時点のものであり、こうした技術は日進月歩のため現時点での優位性に意味はないか参考程度と考えます。この記事はあくまでもWinAutomationの使用方法の模索を意図しています。
WinAutomationからMicorosoft Azure Computer Visionを使用
APIキー取得とエンドポイントの確認
今回はComputer Vision APIの試用版キーを用いている
取得方法についてはWEBに沢山の情報があるのでここでは言及しない
取得出来たエンドポイントとAPIキーをメモする
WinAutomatioのProcess作成 その1
画像ファイルの選択しComputer Visionに投げて、返ってきたjsonを同フォルダに選択画像と同ファイル名+azure.jsonで保存
実際はjsonを保存する必要はないが後で色々調べたいので保存している
OCRアクションの内容
- Server Locationにメモしたエンドポイントのサーバ名を選択
- SubscriptionにメモしたAPIキー１を記入
- Languageは空欄でサポートされた言語なら自動選択される
- Detect Orientation trueにした場合、画像の文字が下向いていたら向きの修正
WinAutomatioのProcess作成 その２
取得したjsonからテキストを生成する
返ってきたjsonを覗くと以下のようになっている
そのためテキストを抜き出し、結合、読み込んだ画像と同じように段落分け処理が必要になる
以下にそのプロセスを示す
jsonから抜き出したtextをリストに入れて段落ごとに改行コードを追加
Listを結合した後、改行コードでもう一度分割しテキストファイルに書き込む
もっとスマートな方法があるかもしれないがご容赦を
WinAutomationからGoogle Cloud Platform Vision APIを使用
APIキー取得
Google Cloud Platform Vision APIを起動させてAPIキーを取得しメモする
今回は試用でキーを取得している
取得方法についてはWEBに沢山の情報があるのでここでは言及しない
WinAutomatioのProcess作成 その1
画像ファイルの選択しVision APIに投げて、帰ってきたjsonを同フォルダに選択画像と同ファイル名+google.jsonで保存する
実際はjsonを保存する必要はないが後で色々調べたいので保存するようにしている
Text Detectionの内容
APIキーを貼るだけ
WinAutomatioのProcess作成 その２
取得したjsonからテキストを生成する
返ってきたjsonを覗くと以下のようになっている
改行コード付きで文章が入っていたのでそのままテキストに保存のみ
お試し
test1.png
size1980*1080
Computer Vision
Vision API
test2.png
size1980*1080
Computer Vision
Vision API
まとめ
読み取り結果については言及しません。
WinAutomationから比較的手軽にCongnitiveサービスが利用できることが伝わればと思います。
実務で即と言われるとまだ厳しい部分もあるかもしれませんが、工夫次第とも思いますし、
すぐそこまで来てると感じられました。
私は非エンジニアでこうしたサービスを利用させていただいている立場です。
作っていただいているエンジニアの方に尊敬と感謝の念を抱きます。