1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

Microsoft FLOW (Power Automate)でGoogle Vision API を手軽に使う

Last updated at Posted at 2019-12-10

はじめに

Microsoft FLOW (Power Automate)にはモバイルアプリが公式から無料配布されており、今回はこれを活用します。私がFLOWで一番好きなトリガーであるモバイルアプリのボタン便利だし、何よりも楽しい:point_up:

目指したところ

良いプロダクト・良い機能、これら使われてなんぼだと思いってます
iPaaSであるFLOWは巷に溢れる素晴らしいAPIを広く使ってもらう為のプラットフォームとして最適に思えます。そこでGoogle VisionAPIをここに載せる事で「可能な限り簡素な形」かつ[NoCode]で利用させる事を目指します

やろうとした事

画像から文字を起こし、その文字情報を活用したい・共有したい -> OCRで画像から識字させて情報を得る
例: お届け先情報、スマホの画面見ながら補完も無しに書きたくない...
kuroneko_okuri.jpg

Google Vision API

MicrosoftにもCognitive Serviceがありますよね...(自主規制
今回はFLOW同様に手軽に性能を手にする為にGoogle VisionAPI(OCR)を使います

Google Vision APIはoauth2 tokenを事前に取得しておけば誰でも簡単に使える優れものです。ただ、APIをコールしなければならないのはコーディングを不得意とする層にはちょっとハードルが上がります

カスタムコネクタ化

Google Vision API用oauth2 tokenを事前に取得しておきます。gcloudコマンドや[OAuth2.0 Playground]
(https://developers.google.com/oauthplayground/)を使います。

さて、FLOWには公式HTTPコネクタが提供されているので、カスタムコネクタにわざわざせずとも利用可能ですが、今回はPOST Methodがどう、Endpointは何か?等々を一切気にせず、VisionAPIを手軽に利用させる事を目的とするのでカスタムコネクタを作成します

FLOW_CustomConnector_VisionAPI_1.png
FLOW_CustomConnector_VisionAPI_2.png

こうなった

  1. スマホで文字情報を取り出したい写真を撮る
  2. FLOWモバイルアプリでカスタムコネクタをベースにしたフローを起動し【ボタン】を押す
  3. スマホの画像フォルダから撮影した画像を選択して送信
  4. 文字情報がメールで送られてくる
    useVisonAPI.png

こうするともっと面白いかも

Google MAP API連携

  • FLOWモバイルアプリ経由でロケーション情報(lat,lng)からおよその住所を入力補完

画像判断/機械学習の追加実装

  • 実際に送る物を写真に撮ってVisionAPI経由で判別させる「パソコン」

終わりに

  • FLOWモバイルアプリを組み合わせる事でFLOW自体をo365に縛られない使い方へ
  • APIの実装次第でカスタムコネクタ化は数日で実装可能
  • APIを作るだけでなく、nocodeな世界(FLOW + カスタムコネクタ)でプロダクトの利用ハードルを下げる/広げる
1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?