Smart Citizen Kitの時系列データをAzure Time Series Insightsに入れて、グラフこねこねが快適になるという話です。
動機
Seeedは、温度、湿度、気圧など環境情報を手軽にセンシングできるデバイス「Smart Citizen Kit」を販売しています。
2021年10月現在、工事認証（いわゆる技適）を取得したSmart Citizen Kitは、一般販売していません。
「欲しいぞ！」という方は、Seeedへご相談ください。
こちらの製品は単なるデバイスだけでなく、情報を収集するプラットフォームが用意されていて、かっこいいWebサイトで各地に設置されたSmart Citizen Kitが測定した環境情報を表示できます。しかも、（Public設定されているデータであれば）誰でも、世界各地に設置されたSmart Citizen Kitのデータにアクセスすることができます。
このビデオも興味深いです。
Documentary: Citizen Science Revolution - Making Sense
SeeedとSmart Citizen Kitの内情は、こちらにちょっとだけ書かれています。
https://lab.seeed.co.jp/entry/2019/10/15/120000
次の図は、Seeed株式会社に設置しているSmart Citizen Kitの情報です。lightやnoiseなどの現在値や、過去データをグラフ表示することができます。
世界でSmart Citizen Kitを買えるようにして、ファームウェアもあらかじめ入っていて、パパっとセットアップするだけでWebのどこかにデータが蓄積されて、それをかっこいいWebサイトで見れるなんて、自分でやろうと思うと頭クラクラするほどの凄いことが実現されています。いやはや凄い。
しかしながら、データを分析しはじめてみると、このWebサイトでは「ウーン」といった感情が湧き出てきます。
たとえば、2箇所のSmart Citizen Kitの温度変化を並べようとすると、、、Webブラウザを2画面立ち上げなければいけません。
日付をスライドして見ようとすると、、、えぇ、2画面を別々に操作しないと（略）。
そこで、Smart Citizen Kitのデータを、時系列データのデータ分析に強い「Azure Time Series Insights」に入れて分析が可能か試してみました。
結果
下図のようにシステムを構築しました。
Smart Citizen KitからAzure Time Series Insightsへの繋ぎは、それらしいツールは見当たらなかったので、.NET5(C#) Console Applicationを自作しました。（Azureへの書き込みが簡単そうだし、わたしがC#erなので。）Smart Citizen Kitのデータは、Smart Citizen Websiteに用意されているREST APIで取ることができました。Azure Time Series Insightsへデータを直接書き込むことはできません。Azure Time Series Insightsは、Azure Event HubもしくはAzure IoT Hubからしか取り込むことができないのです。そこで、自作アプリからはAzure Event Hubに書き込むようにして、Azure Time Series InsightsはAzure Event Hubから取り込むようにセットアップしました。（後記）
Smart Citizen Kitの全データをAzure Time Series Insightsへ転送するなんて無理ゲーなので（課金コワイ）、ベルギーの屋外に設定されている2台｛"VDK09","VDK05"｝の3ヶ月分のデータに絞って転送しました。（Event Hubへのメッセージは170万件でした。）
この2台にした理由は、、、1台は道路脇で、もう1台は道路から離れているので、比べてみてなにか分かるのでは？と思ったからです。
2台のnoiseを比較
2台のnoiseを比べてみました。ピンク色が道路脇、青色が道路奥のSmart Citizen Kitです。
予想に反して、道路奥のnoise値が低くないですね。センサー絶対値の誤差なのか、それとも設置している周辺がうるさいのか。
道路脇は、日中、noiseが高くなっています。マーカーを置いてみると、7:00-22:00ぐらいに高いことがわかります。
当初は、ベルギーと日本は時差7時間なので目盛の日時を脳内変換していたのですが、右上の日時が表示されているところをクリックして表示のタイムゾーンを変更することができました。
長期間をグラフ表示
"VDK09"のtemperatureとhumidityを1ヶ月間グラフ表示しました。
長期間をグラフ化すると、一般的に（色んな事情から）一定期間の平均値で表示されるため突発的な変化に気づきにくいのですが、Max/Minが薄く表示されているので、「ここでなにか異常あったのかな？」ということに気づけます。なにげに便利。
そして、クイッと範囲指定して拡大表示できます。しかも結果が表示されるのが速い！（下の動画は、早送りしていません。）
過去との比較
"VDK09"のnoiseを、前日と比べてみました。
noiseをグラフに2つ追加して、片方のX軸を+1日ズラすことで、前日と見比べることができます。このように表示することで、直感的に赤枠部分が前日よりもnoiseが大きいことが分かります。
でもお高いんでしょ？
Azure Time Series Insightsを初めて聞いたのは、たしかbuild2017のとき。デモでは時系列データ処理爆速で、とても気になっていたのですが、たしか2万円/月ぐらいかかるので指くわえて見ているだけでした。
しかし、2021年10月現在は、Gen2が出て価格が下がったようです。
これは4000円ちょっと/ユニット/月に、＋αのようです。1日あたり200円弱。
まとめ
- Smart Citizen Kitの時系列データをAzure Time Series Inisightsに入れることができた。
- 系列の比較、X軸のズラしなど、時系列データを操作してグラフ表示できた。
- とにかく、グラフ表示が速くて快適。
- とはいえ、複雑な分析機能は無い。（そういうときはデータをダウンロードしてお好きなツールで分析）
- 費用は200円弱/日。
作り方
それでは、構築手順です。
Smart Citizen WebsiteとAzure Time Series Insightsのデータ渡しは、「sck2eventhub」（.NET5 Console Application）で行います。このアプリは、Smart Citizen WebsiteのREST APIを呼び出して対象データを抜き出し、データを日時ソートして、Event Hubへ送信します。日時ソートは、Azure Time Series Insightsが時系列にデータを投入しないとパフォーマンスが低下するためです。
Azure内のデータの流れは、Event Hub -> Event Source -> Time Series Insights Environmentという流れです。Event HubはEvent Hubs Namespace内に作成することができます。Event SourceはTime Series Insights Environmentから作成操作できます。Time Series Insights Environmentはデータ保持にStorage Accountが必須です。
以上から、
- （Event Hubs Namespaceと）Event Hubを作る
- Time Series Insights Environment（とStorage Account）を作る
- （Time Series Insights Environment内で）Event Sourceを作る
- sck2eventhubを実行する
というステップになります。
Resource Group
Azureなので、先ずはResource Groupを作ります。
Time Series Insightsを設置できるリージョンに制限があるので、リージョンの指定には注意してください。
- Project details
- Subscription ... あなたの所有するサブスク
- Resource group ... 「tsi」（適当に）
- Resource details
- Region ... 「Southeast Asia」（TSIを設置できるリージョンを選ぶ）
Event Hub
Event Hubs Namespaceを作ります。
今回は書き込みが1台（sck2eventhub）、読み出しが1台（Event Source）なので、BasicでOKです。
- Project Details
- Subscription ... 作成したResource Groupのサブスク
- Resource group ... 「tsi」（作成したResource Group）
- Instance Details
- Namespace name ... 「mjtsievent」（適切に）
- Location ... 「Southeast Asia」（作成したResource GroupのRegion）
- Pricing tier ... 「Basic」（最小でOK）
Event Hubを作ります。
- Name ... 「sc」（適切に）
外部（sck2eventhub）からEvent Hubへ接続があるので、念のためにそれ用のポリシーを作ります。
- Policy name ... 「sc」（適切に）
- Send ... チェック
Time Series Insights (+ Storage Account)
Time Series Insights Environmentを作ります。同時に、Storage Accountも作られます。
特に、Time series IDの設定は重要です。デバイスから送られてくるメッセージ（JSON）に含まれている、Series（系列）を一意にするプロパティ名を入力します。あとから修正できないので慎重に入力してください。
今回は過去データの投入なので、Warm storeはNoにします。
- Project details
- Subscription ... 作成したResource Groupのサブスク
- Resource group ... 「tsi」（作成したResource Group）
- Instance details
- Environment name ... 「mjtsi」（適切に）
- Location ... 「Southeast Asia」（作成したResource GroupのRegion）
- Time series ID
- Property name ... 「deviceId」（系列を一意にするプロパティ名）
- Cold store
- Storage account name ... 「mjtsistorage」（適切に）
- Warm store
- Enable warm store ... No
Time Series Insights Environment作成時に、同時にEvent Sourceも作成できますが、、、今回はNoにして、後ほど手作業で作成します。
- Create an event source? ... No
Event Source
Event Sourceを作ります。
Timestamp property nameに、デバイスから送られてくるメッセージ（JSON）に含まれている、時刻を示すプロパティ名を入力します。
- Event source name ... 「sc」（適切に）
- Source ... 「Event Hub」
- Event Hub namespace ... 「mjtsievent」（作成したEvent Hub名前空間）
- Event Hub name ... 「sc」（作成したEvent Hub）
- Event Hub policy value ... 「RootManageSharedAccessKey」
- Event Hub consumer group ... 「$Default」
- Timestamp property name ... 「timestamp」（データの日時を示すプロパティ名）
確認
Resource Groupに4つ作成できていることを確認します。
| Name | Type |
|---|---|
| mjtsievent | Event Hubs Namespace |
| mjtsi | Time Series Insights environment |
| mjtsistorage | Storage account |
| sc (mjtsi/sc) | Time Series Insights event source |
この時点でTime Series Insights EnvironmentのTSI Explorerを開くと、データがカラのページが表示されます。
sck2eventhub
sck2eventhubのソースコードはこちらです。
ローカルにクローンして、Visual Studioで開きます。
Event Hubへの接続情報をAZURE_EVENT_HUB_CONNECTION_STRINGとAZURE_EVENT_HUB_NAMEに記入します。
実行
sck2eventhubを実行すると、Smart Citizen Kitからデータを抜き出して、Event Hubへ送信します。
"VDK09"と"VDK05"のセンサー値7種類、2021/7/1から3ヶ月分で、約170万メッセージでした。転送に要した時間は29分でした。
Event HubのIncoming MessagesとOutgoing Messagesが上がれば正常に実行できています。（赤枠部分）
なお、赤枠の左の、青グラフだけ上がっているのは、Event Sourceの設定をミスっていてうまく転送できなかったときのものです。
Time Series Insights Environmentでは、Number of messages receivedとNumber of events storedがバタバタすれば正常です。
TSI Explorer
データが取り込まれると、TSI Explorer上部の時間軸指定グラフが表示されます。
しかし、左側のインスタンスが表示されません。
上部の「Refresh」をクリックすると、左側のインスタンスが表示されます。わーい。
が、しかし、インスタンスの系列が「EventCount」しか表示されません。むむむ。
Webブラウザのリロードで、インスタンスの系列が正しく表示されました。わーいわーい。
