Help us understand the problem. What is going on with this article?

Microsoft FLOW (Power Automate)でGoogle Vision API を手軽に使う

はじめに

Microsoft FLOW (Power Automate)にはモバイルアプリが公式から無料配布されており、今回はこれを活用します。私がFLOWで一番好きなトリガーであるモバイルアプリのボタン便利だし、何よりも楽しい:point_up:

目指したところ

良いプロダクト・良い機能、これら使われてなんぼだと思いってます
iPaaSであるFLOWは巷に溢れる素晴らしいAPIを広く使ってもらう為のプラットフォームとして最適に思えます。そこでGoogle VisionAPIをここに載せる事で「可能な限り簡素な形」かつ[NoCode]で利用させる事を目指します

やろうとした事

画像から文字を起こし、その文字情報を活用したい・共有したい -> OCRで画像から識字させて情報を得る
例: お届け先情報、スマホの画面見ながら補完も無しに書きたくない...
kuroneko_okuri.jpg

Google Vision API

MicrosoftにもCognitive Serviceがありますよね...(自主規制
今回はFLOW同様に手軽に性能を手にする為にGoogle VisionAPI(OCR)を使います

Google Vision APIはoauth2 tokenを事前に取得しておけば誰でも簡単に使える優れものです。ただ、APIをコールしなければならないのはコーディングを不得意とする層にはちょっとハードルが上がります

カスタムコネクタ化

Google Vision API用oauth2 tokenを事前に取得しておきます。gcloudコマンドOAuth2.0 Playgroundを使います。

さて、FLOWには公式HTTPコネクタが提供されているので、カスタムコネクタにわざわざせずとも利用可能ですが、今回はPOST Methodがどう、Endpointは何か?等々を一切気にせず、VisionAPIを手軽に利用させる事を目的とするのでカスタムコネクタを作成します

FLOW_CustomConnector_VisionAPI_1.png
FLOW_CustomConnector_VisionAPI_2.png

こうなった

  1. スマホで文字情報を取り出したい写真を撮る
  2. FLOWモバイルアプリでカスタムコネクタをベースにしたフローを起動し【ボタン】を押す
  3. スマホの画像フォルダから撮影した画像を選択して送信
  4. 文字情報がメールで送られてくる useVisonAPI.png

こうするともっと面白いかも

Google MAP API連携

  • FLOWモバイルアプリ経由でロケーション情報(lat,lng)からおよその住所を入力補完

画像判断/機械学習の追加実装

  • 実際に送る物を写真に撮ってVisionAPI経由で判別させる「パソコン」

終わりに

  • FLOWモバイルアプリを組み合わせる事でFLOW自体をo365に縛られない使い方へ
  • APIの実装次第でカスタムコネクタ化は数日で実装可能
  • APIを作るだけでなく、nocodeな世界(FLOW + カスタムコネクタ)でプロダクトの利用ハードルを下げる/広げる
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした