はじめまして
Qiitaへ初投稿させて頂きます。
みなさま、よろしくお願い致します。
2020年4月よりPower Appsについて調査を行っております。
その中で、今回はAI Builderの試用版（30日間）を試してみましたので、こちらに投稿させて頂きます。
AI Builderは、まだ、日本語未対応なのが惜しいところですが、名刺リーダーでは名前を読み取れたりしていますので、今後にこうご期待です。
また、2週間前には、実装できなかった「フォームプロセッサ」の機能が、試用版でもいつの間にか使えるようになったりと、日々進歩しているようです。
試してみたこと
① フォーム処理
② テキスト認識
③ 名刺リーダー
④ 物体検出
①フォーム処理（モデル作成手順）
- PowerAppsの画面よりAI Builder → 「フォーム処理」を選択
- AIモデルの名前を入力して作成
- ドキュメントの追加（同じ種類のファイルを5枚以上用意）
- 分析をかける
- ドキュメントの項目を範囲指定して項目名を入力
- 1枚目で全ての項目を設定したら、「フィールドの確認」ボタンを押下
- 2枚目以降は、項目を範囲指定し、1枚目で設定したどの項目になるかを選択・設定
①フォーム処理（モデルの作成：1枚目）
項目を設定すると、その場で読取結果が右側に表示されます。
※範囲設定は自動認識の為、認識できない箇所も多数あります。
※以下のデータは、OCRのテストの為に個人情報自動生成ツールで作成した架空データとなりますが、念のため、住所や電話番号の一部は黒塗りにしてあります。
①フォーム処理（モデルの作成：2枚目以降）
フィールドは確定しているので、各項目を範囲指定して設定します。
全ページの設定が終わったらトレーニング（少し時間がかかります）を行います。
①フォーム処理（アプリの作成）
PowerAppsのフォームより、AI Builderの「フォームプロセッサ」を追加して、読取させたいモデルを選択するだけで実装可能です。
読取結果は、Label又はTextを配置、Textの関数バーへFormProcessor1.Fields.XXXX（モデル作成で設定した項目）を設定して表示させます。
①フォーム処理（アプリの実装）
アプリを起動して、分析ボタンをクリック、モデルと同じフォーマットのデータを指定するとLabelに結果が表示されます。
四角形を描画するために、信頼レベルに応じて次の 3 種類の色で表示されます。
・赤: 信頼度レベルが 0% から 39%
・オレンジ: 信頼度レベルが 40% から 59%
・青: 信頼度レベルが 60% から 100%
郵便番号と生年月日の数字は100％読めました。
②テキスト認識（アプリの作成）
テキストの認識には、モデルの作成が必要ない為、PowerAppsのフォームより、AI Builderの「テキスト認識エンジン」を追加し結果を表示させるTextを配置するだけで実装可能です。
②テキスト認識（アプリの実装）
アプリを実行してみます。
青い枠がついた箇所が自動でテキスト認識してくれた項目になります。
青い枠を選んでクリックすると右下に読取結果が表示されます。
※現段階で日本語が未対応の為、英数字として結果が表示されます。
アドレスの項目の読取結果は以下になります。
なかなか読めています！
最後に電話番号になります。
1が/（スラッシュ）と認識されてしまいました（惜しい、、、）
他の番号は一致していました。
③名刺リーダー（アプリの作成）
PowerAppsのフォームより、AI Builderの「名刺リーダー」を追加し、各出力項目をラベル又はテキストで設定するだけで実装可能です。
今回は、名前・メールアドレス・電話番号・会社名の出力設定をしてみました。
③名刺リーダー（アプリの実装）
日本語の対応がされていない為、シールに貼られている「Homer」を読取してしましました。
Emailは読取100%でした！
電話番号は残念ながら読み取りできなかったようです。
お見せ出来ないのが残念なのですが、他社様の名刺もスキャンしてみました。
名前・会社名共に正しく読取出来るものもありましたので、この結果だけが全てではないです。
④物体検出（モデルの作成手順）
- Common Data Serviceへラベルを登録するためのエンティティを作成（Jagariko,BAKEのキーワードを登録）
- PowerAppsの画面よりAI Builder → 「物体検出」を選択
- AIモデルの名前を入力して作成
- モデルのドメインの選択で「共通オブジェクト」を選択
- モデルで検出するオブジェクトを選択する（データベースから選択しますで①で作成したエンティティを選択）
- 検出する項目を選択（Jagariko,BAKEの両方）
- イメージの追加（事前に撮影して置いた「じゃがりこ」「BAKE」の画像をそれぞれ15枚アップデート）
- 1枚ずつタグ付けを行う
④物体検出（モデルの作成）
1枚ずつタグ付けする必要あります。
全部のタグ付けができたらテスト → 公開 → クイックテスト と進めます。
④物体検出（クイックテスト）
「クイックテスト」ボタンを押して、LocalPCより画像を選択すると、無事に「Jagariko」と認識されました。
④物体検出（アプリの作成）
PowerAppsのフォームより、AI Builderの「オブジェクト検出器」を追加して、先程作成したAIモデルを追加します。
④物体検出（アプリの実装）
「Jagariko」と「BAKE」を無事に検出しました。
最後に
資料を読むだけでは理解が難しかった箇所が、アプリ実装により、より理解が深まりました。
■苦労した点
・少ない資料の中から照らし合わせながら調査するのが大変
・試用版だったため、実現できない機能などがあり、それに気が付くのに何度もTry&Errを繰り返し時間を要してしまった
・CommonDataServiceの仕組みに慣れていないため、ラベルを作成するエンティティを作成するだけでも四苦八苦
今後、AIBuilderにチャレンジする方にとって、この記事が少しでもお役に立つことが出来たら幸いです。
※掲載内容は個人の見解であり、所属する企業を代表するものではありません。