皆さんこんにちは、マイクロソフトの川端です。
ドキュメント自動化ソリューション/Document Automation Solutionでの日本語読み取りが対応されていますので、セットアップ手順と共に結果について共有したいと思います。
手順について
英語での手順に関してはこちらに詳しく説明されています。
https://flow.microsoft.com/ja-jp/blog/automate-document-processing-with-power-automate/
こちらはもともとPower Apps作成者ポータル側で中心に構成(https://make.powerapps.com)
されていたAIBuilerの機能が、Power Automate側(https://flow.microsoft.com/)
で呼べるようになったものです(2021/03/08時点でプレビュー)。
予めDocument automation Base Kitをダウンロードし、環境に取り込んでおきます。
https://appsource.microsoft.com/en-us/product/dynamics-365/mscrm.powerautomate_documentautomation_basekit
川端が日本語化したDocument automation Base Kitはこちら(参考)
https://github.com/YutoKa/document-automation-base-kit-jp
ソリューションをインストールします(推定時間の記載通り、10分ぐらい実際にかかりました)
このままではKitが動作しないので、ソリューション内に含まれているフローの設定、許可を行っていく必要があります。
ユーザーの設定でDocument Automation ReviewerやProcess Ownersロールを追加します。
ソリューションとして環境内にDocument automation base kitが導入できていることが確認できます。
Power Appsのアプリとしてドキュメント自動化アプリケーション(Document Automation Application)が導入されました。
Power Apps側(Document Automation Application)でAIモデルを正しく紐づけて正しく日本語が読めていることが確認できます。
ドキュメント自動化ソリューションとPower Automate Desktopを利用した自動化(動画)
デモの動画はこちらです。
動画デモ内容の設定方法
Document automation base kitを導入後、こちらの構成内容をベースにPower Automate Desktopのフローを構成していきます。
ドキュメント自動化アプリケーション(Document Automation Application)では結果がテーブル名「Document Automation Data」に格納されるので、そちらの変更、作成からDataverseをトリガーとするように構成します。
ドキュメント自動化アプリケーションでは、予め定義済みのAIBuilderのモデルを選択して、後でPower Automateでのフローの結果も参照できるようにしておきましょう。
実際に取り込んでドキュメントを読み込ませると、請求先会社、請求元住所等が正しく画像認識され読み込まれている様子が確認できます。
本デモでは簡易的に、自分にメールを送ればPower Automate Desktopのプロセスがキックされるように設定しています
また、Power Automate Desktopを通じて、無事に入力が確認できた様子が確認できます。
読み取った請求書の内容はドキュメント自動化アプリケーションから再度確認することができます。