Azure Perceptで物体検知後メール発報するには

Azure Perceptとは？

Azure Perceptとは，マイクロソフトが発表したエッジAIの包括的なプラットフォームの名称です。Azure Perceptの詳細は，マイクロソフトのサイトやこちらのドキュメントをご参照ください。
IoTを活用したAIソリューションを構築する際，「まずはPoCをササッと始めたいけど，IoTのエッジデバイスは何を使えば良いのだろうか？」や，「クラウド側で作成したAIモデルをエッジデバイスにデプロイするのは大変だなぁ...」といった課題は，Azure Perceptを使用すると解決できます。Azure Perceptでは，開発者キットが提供されるため，PoC用途でどのエッジデバイスを使用するか悩まれている場合は，開発者キットを用いてお手軽にエッジAIのソリューションを構築できます。また，簡単な物体・人物検出を行うAIモデルであれば，コーディングなしで4ステップでできてしまいます。

このように導入が簡単なAzure Perceptなのですが，Azure Perceptで検出した物体・人物のテレメトリをどのようにMicrosoft Azure側でテレメトリを処理するのかという点では，残念ながら2021年7月末時点ではマイクロソフトの公開ドキュメントに記載はありません。そこで本記事では，人物の検知を参考にAzure Perceptの画像認識結果を基にメール発報する構成をご紹介しようと思います。

Azure Perceptのセットアップ

まずはAzure Perceptをセットアップする必要があります。セットアップ自体はマイクロソフトのサイトに詳しく書かれていますので，Azure Percept 開発者キットを取得された後は，箱から取り出し，こちらのサイトを基に，Azure Perceptをセットアップしてください。

Azure Percept 開発者キットにStreamFPSを追加設定

本来であれば，この手順は不要かと思いますが，Azure PerceptのFPSの値を変更しないと，私の環境では後ほどご紹介するSQL Databaseのところでテレメトリが書き込めないというエラーが発生してしまいました。また，StreamFPSの値を設定することにより，Azure Percept開発者キットのビデオストリームも安定的に動作しますので，下記方法でぜひ設定してみてください。

1. Azure Percept開発者キットの電源を入れ，インターネットに接続します。
2. Azure ポータルにログインします。
3. Azure ポータルの上の方に「リソース、サービス、ドキュメントの検索(G+/)」という項目があると思いますので，そこにAzure Perceptと入力します。すると[Azure Percept Studio]というアイコンがサービスの項目にリストされますので，[Azure Percept Studio]をクリックします。
   
4. Azure Percept Studioの左側にある[デバイス]を選択します。
   
5. 対象のAzure Percept 開発者キットをクリックします。
   
6. [デバイスをIoT Hubで開く]をクリックします。
   
7. [azureeymodule]モジュールをクリックします。
   
8. [モジュールIDツイン]をクリックします。
   
9. Properties.desired内に，"StreamFPS": 10, という記載を下記要領で追記します。追記後，上部にある[保存]アイコンをクリックします。
   

これで，Azure Percept開発者キットのビデオストリームが安定的に動作します。

Azure Perceptが送信するテレメトリを確認

Azure PerceptのテレメトリをStorageやSQL Databaseに保管する際，事前にAzure Perceptが送信するテレメトリを確認し，どのような形式で各サービスに保管するか考えておく必要があります。そこでまずはAzure Perceptがどのようなテレメトリを送信しているのか，確認してみましょう。

1. Azure Percept開発者キットの電源を入れ，インターネットに接続します。
2. Azure ポータルにログインします。
3. Azure Percept Studioを開き，[デモとチュートリアル]をクリックします。
   
4. [Visionモデルのサンプルを試す]をクリックします。
   
5. ご利用中のIoT ハブ，デバイス(Azure Percept開発者キット)を指定し，[一般的なオブジェクトの検出]を選択後，[デバイスへのデプロイ]ボタンをクリックします。
   
6. [デバイス]をクリックします。
   
7. 対象のAzure Percept 開発者キットをクリックします。
   
8. [ライブテレメトリの表示]をクリックします。
   
9. 何も検知していない時は，Azure PerceptはIoT Hubに対して下記の様なテレメトリを送っていることが分かります。
   
10. Eyeモジュール(Azure Perceptのカメラ)の前で手をかざしてみると，恐らく下記の様な"Person"として認識するかと思います。
    

ここまでで，Azure Perceptが認識した人物のテレメトリがIoT Hubに送信されていることが分かります。

Service Bus，Stream Analytics，Logic Appsの準備

私が解説するよりもこのサイトに丁寧な記載がありますので，こちらをご参照ください。
ただ，私の場合はStream Analyticsのクエリを以下のように書き換えました。

WITH
ReadQuery AS (
    SELECT
        Getarrayelement(input.NEURAL_NETWORK,0) AS array0,
        input.EventEnqueuedUtcTime AS recognitionTime
    FROM
        input
),
DivideQuery AS (
    SELECT
        array0.label AS label0,
        array0.confidence AS confidence0,
        recognitionTime
    FROM
        ReadQuery
    WHERE array0.label IS NOT NULL
)

SELECT
    label0, confidence0, recognitionTime
INTO
    queueoutput
FROM
    DivideQuery
WHERE TRY_CAST(confidence0 AS float) > 0.5

ここではConfidenceの値が0.5以上の場合のみ，Service Busに必要な情報のみ送信するクエリを書いています。また，今回は"Person"というラベル名でAzure Perceptからテレメトリが送られてくる前提ですが，もし気になる方は条件にラベル名がPersonの時だけテレメトリを送信するという条件を追記しても良いかもしれません。また，WITHの使い方が分からない場合は，こちらのサイトも合わせてご参照ください。

また，inputではAzure Perceptをデプロイする際に生成されたIoT Hub，queueoutputには今回作成したService Busを指定しています。

Stream Analyticsの実行

作成したStream Analyticsの[概要] -> [開始]ボタンをクリックします。

クエリに問題なければ正常に実行され，Stream Analytics -> Service Bus -> Logic Apps経由でメール通報されます。