はじめに
Microsoft FLOW (Power Automate)にはモバイルアプリが公式から無料配布されており、今回はこれを活用します。私がFLOWで一番好きなトリガーであるモバイルアプリのボタン便利だし、何よりも楽しい
目指したところ
良いプロダクト・良い機能、これら使われてなんぼだと思いってます
iPaaSであるFLOWは巷に溢れる素晴らしいAPIを広く使ってもらう為のプラットフォームとして最適に思えます。そこでGoogle VisionAPIをここに載せる事で「可能な限り簡素な形」かつ[NoCode]で利用させる事を目指します
やろうとした事
画像から文字を起こし、その文字情報を活用したい・共有したい -> OCRで画像から識字させて情報を得る
例： お届け先情報、スマホの画面見ながら補完も無しに書きたくない...
Google Vision API
MicrosoftにもCognitive Serviceがありますよね...(自主規制
今回はFLOW同様に手軽に性能を手にする為にGoogle VisionAPI(OCR)を使います
Google Vision APIはoauth2 tokenを事前に取得しておけば誰でも簡単に使える優れものです。ただ、APIをコールしなければならないのはコーディングを不得意とする層にはちょっとハードルが上がります
カスタムコネクタ化
Google Vision API用oauth2 tokenを事前に取得しておきます。gcloudコマンドやOAuth2.0 Playgroundを使います。
さて、FLOWには公式HTTPコネクタが提供されているので、カスタムコネクタにわざわざせずとも利用可能ですが、今回はPOST Methodがどう、Endpointは何か？等々を一切気にせず、VisionAPIを手軽に利用させる事を目的とするのでカスタムコネクタを作成します
こうなった
- スマホで文字情報を取り出したい写真を撮る
- FLOWモバイルアプリでカスタムコネクタをベースにしたフローを起動し【ボタン】を押す
- スマホの画像フォルダから撮影した画像を選択して送信
- 文字情報がメールで送られてくる
こうするともっと面白いかも
Google MAP API連携
- FLOWモバイルアプリ経由でロケーション情報(lat,lng)からおよその住所を入力補完
画像判断/機械学習の追加実装
- 実際に送る物を写真に撮ってVisionAPI経由で判別させる「パソコン」
終わりに
- FLOWモバイルアプリを組み合わせる事でFLOW自体をo365に縛られない使い方へ
- APIの実装次第でカスタムコネクタ化は数日で実装可能
- APIを作るだけでなく、nocodeな世界(FLOW + カスタムコネクタ)でプロダクトの利用ハードルを下げる/広げる