概要

Power AutomateとPower Automate Desktopを連携させ、モバイル端末からローカルPCのWEBカメラで撮影、Teamsに投稿します。

注意事項

Pythonを使います。
アテンド型RPAのユーザーごとのライセンス（試用可）が必要になります。
PA、PAD連携にはWindows 10 pro必須です。
自己責任でお願いいたします。

環境等

Windows 10 pro 20H2
モバイル版Power AutomateおよびTeams
2021年5月時点での最新版PADおよびオンプレミスデータゲートウェイを使用しています。
Python3.8.10
https://www.python.org/ のインストーラーを使用しています。
グローバル環境に以下のライブラリを個別にインストールしてあります。
- OpenCV 4.4.0.46
- pyperclip 1.8.1
- numpy 1.18.5

Pythonについてはhttps://www.python.jp/index.html さまの環境構築ガイドを参考にしていただければと思います。

やること

Power AutomateのモバイルアプリからPower Automate Desktopに起動指示
PCのPython環境でpyファイルを実行
Webカメラで撮影
画像を圧縮処理、Base64変換をおこないPower Automate Desktopに返却
Incoming Web hookを利用してTeamsにPOST

1の部分は最後に作ります。

Power Automate Desktopフロー

PADのコード内にpythonスクリプトを埋め込んで生成するようになっています。今回のフローではPythonスクリプトにPAD側から変数を渡していないので、pyファイルを作成し任意の場所に置く場合は4、5、6のアクションのみで済みます。

1. 現在の日時を取得します。

Teamsのメッセージに入れたかったので使用しました。

2. Windows環境変数を取得

TEMPフォルダーへのパスを取得しています。

3. テキストをファイルに書き込みます

PythonスクリプトをTEMPフォルダーに作成します。
複数行テキストは標準機能で今のところ使えませんので方法は過去記事を参照ください。

Python

import cv2
import binascii
import pyperclip

# Webカメラから入力
cap = cv2.VideoCapture(1)
# 画像を取得
ret, img = cap.read()
# カメラ解放
cap.release()
# リサイズ
img2 = cv2.resize(img , (320,240))
# 画像を圧縮
ret, data = cv2.imencode(".jpg", img2,[cv2.IMWRITE_JPEG_QUALITY, 40])
# Base64に変換
base64string = binascii.b2a_base64(data).decode("ascii").strip()
# クリップボードに出力
pyperclip.copy(base64string)

OpenCVおよびpyperclipはグローバル環境にpipしてあります。
cap = cv2.VideoCapture(1)の1の部分がWebカメラのデバイス番号になるので環境に合わせて書き換えてください。
私のWebカメラのキャプチャ元画像は640X480でした。Teamsにbase64でPostするとき、データが15kbyteを超えたあたりでエラーになるため、320X240にリサイズ後cv2.IMWRITE_JPEG_QUALITYを40にして調整しています。
Base64に変換後余分な空白や改行を削除、Pyperclipを使ってWindows側のクリップボードに保存しています。

4.DOSコマンドの実行

変数は生成していません。TEMPフォルダーに保存したcapture.pyを実行します。

5.クリップボードテキストを取得

クリップボードに格納されているBase64データを%ClipboardText%に代入します。

6.Webサービスを呼び出します

このアクションからIncoming Webhook経由でTeamsに画像を投稿します。

Teamasの設定

投稿用のプライベートチームを作成します。メンバー追加は必要ありません。
コネクタを追加します。
incoming webhookを検索して追加します。
再度コネクタを開いてIncoming webhookを構成します。
名前とアイコンを適宜設定して作成します。

作成されるとURLが生成されるのでコピーしておきます。後からでも構成済みから選択すると再コピー可能です。

「Webサービスを呼び出します」アクションの設定

URL部分にTeamsからコピーしたURLを貼り付けます。
メソッド　POST
コンテンツタイプ　application/json
要求本文　カードをJSON形式で投稿しています。imageプロパティにdata URIを使って画像を投稿します。クリップボードから取得したBase64データを挿入しています。

JSON

 {
    "@type": "MessageCard",
    "title": "Image POST %CurrentDateTime%",
    "text": "キャプチャしました！",
    "sections": [
        {
            "images": [
                {
                    "image": "data:image/jpeg;base64,%ClipboardText%"
                }
            ]
        }
    ]
}

7.ファイルの削除

TEMPフォルダーに作ったpythonスクリプトを削除しています。

確認

テストしてみます。

コード

DateTime.Local DateTimeFormat: DateTime.DateTimeFormat.DateAndTime CurrentDateTime=> CurrentDateTime
System.GetEnvironmentVariable Name: $'''TEMP''' Value=> EnvironmentVariableValue
File.WriteText File: $'''%EnvironmentVariableValue%\\capture.py''' TextToWrite: $'''import cv2
import binascii
import pyperclip

# Webカメラから入力
cap = cv2.VideoCapture(1)
# 画像を取得
ret, img = cap.read()
# カメラ解放
cap.release()
# リサイズ
img2 = cv2.resize(img , (320,240))
# 画像を圧縮
ret, data = cv2.imencode(\".jpg\", img2,[cv2.IMWRITE_JPEG_QUALITY, 40])
# Base64に変換
base64string = binascii.b2a_base64(data).decode(\"ascii\").strip()
# クリップボードに出力
pyperclip.copy(base64string)''' AppendNewLine: False IfFileExists: File.IfFileExists.Overwrite Encoding: File.FileEncoding.UTF8NoBOM
System.RunDOSCommand DOSCommandOrApplication: $'''%EnvironmentVariableValue%\\capture.py'''
Clipboard.GetText Text=> ClipboardText
Web.InvokeWebService Url: $'''Your URL''' Method: Web.Method.Post Accept: $'''application/json''' ContentType: $'''application/json''' RequestBody: $'''{
    \"@type\": \"MessageCard\",
    \"title\": \"Image POST %CurrentDateTime%\",
    \"text\": \"キャプチャしました！\",
    \"sections\": [
        {
            \"images\": [
                {
                    \"image\": \"data:image/jpeg;base64,%ClipboardText%\"
                }
            ]
        }
    ]
}''' ConnectionTimeout: 30 FollowRedirection: True ClearCookies: False FailOnErrorStatus: False EncodeRequestBody: False UserAgent: $'''Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.21) Gecko/20100312 Firefox/3.6''' Encoding: Web.Encoding.AutoDetect AcceptUntrustedCertificates: False ResponseHeaders=> WebServiceResponseHeaders Response=> WebServiceResponse StatusCode=> StatusCode
File.Delete Files: $'''%EnvironmentVariableValue%\\capture.py'''

Power Automateフローの作成

インスタントクラウドフローを作成します。

「Power Automate Desktopで構築したフローを実行する」で先に作成したPADのフローを選択し、実行モードはライセンスにあわせます。

保存してテストします。

これでPower Automateモバイルアプリから操作可能です。

まとめ

モバイル端末からルータ内のPCに難しい設定なくアクセスし画像撮影できました。
撮影した画像をIncoming Webhookを使うことでPADから投稿できました。
クリップボード経由のデータ連携は安定していました。
プライバシーの問題を気にしないなら3000～5000円で見守りカメラは買えるのでネタのひとつとしてお考えください。
「Webサービスを呼び出します」アクションは色々応用できますね！

参考

https://docs.microsoft.com/ja-jp/microsoftteams/platform/webhooks-and-connectors/how-to/connectors-using
https://teratail.com/questions/288950
https://stackoverflow.com/questions/56853198/teams-invoke-webrequest-sending-base64-string-png-to-teams

Power Automate Desktop「簡易 見守りカメラをつくってみた」

概要