More than 1 year has passed since last update.

Synapse AnalyticsでiPhoneヘルスケア（歩数、消費カロリー）を分析する Part1

Last updated at 2022-10-14Posted at 2022-10-14

はじめに

iPhoneやApple WatchなどのApple製品のヘルスケア情報（活動量情報）をクラウドに連携して活用できないかということで、Synapse Analytics , EventHubsを使って実現してみようと思います。

アーキテクチャ

今回は赤枠部分を作ります。

Event Hubへの送信について

個人的にはAzureに連携さえできれば特に懸念はないと思うので、ここが一番の壁です。

有償アプリのHealth Auto Exportではじめは試していたのですが、

Microsoft のKohei Ogawa さん | Twitter から iOS ショートカットと Power AutomateでヘルスケアデータをSharePointに保存するを教えてもらい、無料でできる方法なのでiPhoneのオートメーションを利用することにしました。

※オートメーションの時間起動は「実行時に尋ねる」のOn Offに関わらずタップが必要らしく完全なオートメーションかというとちょっと悩ましいところです。

手順

Synapse Analyticsの作成

1.Synapse ワークスペースの作成

クイックスタート:Synapse ワークスペースを作成するを参考にリソースを作成します。

Synapseの既定のコンテナは workspace という名称で作成しました。

2.コンテナの追加

今回はLanding,Raw,Enrichなどのコンテナを追加して、データが置かれる場所を準備度合に応じて整理します。

参考：DataLakeのベストプラクティス

Event Hubs 側の構成

1.EventHubs 名前空間（リソース）の作成

クイックスタート:Azure portal を使用したイベントハブの作成を参考にリソースを作成します。

ストレージへのイベントのキャプチャを利用したいのでStandardプランで作成しています。

2.Event Hubの作成

続けてAPI送信先となるEvent Hubを作成します。※手順は1の記事内に

3.キャプチャの構成

Azure Event Hubs で Azure Blob Storage または Azure Data Lake Storage にイベントをキャプチャするを利用してEvent Hubからデータレイクにデータを書き込みます。

avro形式で出力ができます。時間ウィンドウを1分にしてすぐ出力されるようにしておきつつ、出力先の指定します。

4.ポリシーの作成

作成したEvent Hubに移動して、SASポリシーを作成します。送信のためのポリシーなのでそのように構成します。（別のサービスからEvent Hubに送信されたイベントを読取りたい場合などはリッスンなどを使います。）

作成したSASポリシーをクリックすると以下のように接続文字列などの情報が取得できます。

6.SASトークンの生成

REST APIでの送信ではSASトークンをあらかじめ生成しておく必要があるのでSASポリシーの情報を使って生成します。

SAS トークンの生成を参考に、pythonで生成してみました。VSCodeでDevContainerでPython環境をセットアップしたら%% でノートブックっぽく実行できるのでおすすめ

expiryNumは有効期間(秒)ですが、iPhoneのオートメーションから自動的にトークンをリフレッシュする仕組みはさすがに面倒なので3年間有効にしてます

python


#%%

import time
import urllib
import hmac
import hashlib
import base64

def get_auth_token(sb_name, eh_name, sas_name, sas_value):
    """
    Returns an authorization token dictionary 
    for making calls to Event Hubs REST API.
    """
    uri = urllib.parse.quote_plus("https://{}.servicebus.windows.net/{}" \
                                  .format(sb_name, eh_name))
    sas = sas_value.encode('utf-8')
    expiryNum = 60*60*24*365*3
    expiry = str(int(time.time() + expiryNum))
    string_to_sign = (uri + '\n' + expiry).encode('utf-8')
    signed_hmac_sha256 = hmac.HMAC(sas, string_to_sign, hashlib.sha256)
    signature = urllib.parse.quote(base64.b64encode(signed_hmac_sha256.digest()))
    return  {"sb_name": sb_name,
             "eh_name": eh_name,
             "token":'SharedAccessSignature sr={}&sig={}&se={}&skn={}' \
                     .format(uri, signature, expiry, sas_name)
            }
# %%
get_auth_token(
    sb_name='<リソース名>',
    eh_name='<Event Hub名>',
    sas_name='SASポリシー名',
    sas_value='<SASポリシーの主キーの値>'
)