LoginSignup
9
0

More than 1 year has passed since last update.

Power AppsのExpress Designで乱雑な手描き画面はどこまで取り込めるか?

Last updated at Posted at 2022-12-16

はじめに

Power Appsを初めて触ったとき、データソースを指定してあっという間にアプリが出来上がるさまを見てすごいと感動したものです。そして今年のMS Build 2022で発表された新機能であるExpress Designでその時の衝撃が蘇るほどの衝撃だったので、試してみました。
(2022年12月時点の機能で試しています)

画面を描いてみる

打合せでノートにさらさらと手描きで画面を描く、なんてことはよくあります。それを写真に撮ってみたイメージが下の画像です。ID申請の画面をイメージしてみました。

2022-12-16-22-17-09-131.jpg

さらさらと…なんて書きましたが、これは我ながらお世辞にもきれいな字や線とは言えない悪筆の殴り書きですね…が、これを取り込むとどうなるか・・・?

画像として取り込んでみる

Power Appsでそのまま取り込んでみると、やはりだめだめですね。テキストもまともに認識されていないし、テキストボックスもなぜか評価(☆☆☆☆☆をつける項目)に解釈されています。

スクリーンショット 2022-12-16 223404.png

画像をアップする前に適切に認識されるための画像ガイドラインが提示されているのですが、やはりそれに反するような色付きの背景、殴り書きの画像ではうまく認識できないですね・・・(逆にこれだけでも認識できたのがすごいのですが)

スクリーンショット 2022-12-16 224242.png

修正して取り込みなおしてみた

で、ここからどう挽回するか。今描いたものを書き直さずに以下の対応を取ってみました。
1.とりあえず入力ボックスをきちんと箱と認識されるように、しっかり線を閉じるように絵を修正
2.改めて写真を撮った後、背景が白くなるように画像を修正

そうした後の認識結果はこちらの通り。

スクリーンショット 2022-12-16 231539.png

満点ではないですがほぼほぼ文字も入力ボックスもその位置がきちんと認識されています。
あとは、間違って囲われている長方形をクリックして削除を選択し、さらにクリック&ドラッグで正しい位置を囲って適切なコンポーネントを指定します。

スクリーンショット 2022-12-16 225810.png

そして画面を進めて最終的に判定された結果はこちら。

スクリーンショット 2022-12-16 225917.png

確かに意図しない文字に変換されてはいますが、あの殴り書きからここまで認識できたのが逆にすごいと感動すら覚えます。

さいごに

感動はしたものの、やはりExpress Designといえどもゴミを入れればゴミが出てくるわけです。それでもちょっとした修正で補正して作成できるのようになっているので十分実用に耐えられる仕組みだと思います。
それでも直す手間を省けるよう、やはりある程度丁寧に書いたものを使用したり、写真の色合いを補正するなどうまく判定されるような工夫が必要ですね。

9
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
9
0