無料大好きな僕が、タダでIoTデータを見える化する方法をまとめてみた

IoTと見える化

ここ数年、RaspberryPi、Arduino、M5Stackなど、IoT向けマイコンモジュールが続々登場し、低コストにセンサデータを取得できる時代となっています。

一方で、価値を出すためには人間が分かりやすい形で
「つなぐ」「見える化する」
必要があります。
（下は内閣府のSociety 5.0の資料）

例えば

"smart_meter": {
    "echonetlite_properties": [
        {
            "name": "normal_direction_cumulative_electric_energy",
            "epc": 224,
            "val": "294263",
            "updated_at": "2020-08-12T10:09:14Z"
        },
        {
            "name": "measured_instantaneous",
            "epc": 231,
            "val": "432",
            "updated_at": "2020-08-12T10:09:14Z"
        }
    ]
}

のようなJSONの消費電力生データを見せられても困りますが、

のようにグラフで表示してくれると分かりやすいですね！

それが外出先でスマホやタブレットから見られたり、分析できたりすると、なお嬉しいです！

タダで見える化したい！

上記のような見える化システムは、お金を掛ければいくらでも凄いものは作れます。
ここで問題となるのはコスト！

個人開発ではなるべくタダにしたい、というのが一般的な感覚だと思います
今回はRaspberryPiを例に、「タダ」で「見える化」できる手段をまとめてみました

「タダ」で「見える化」の定義

タダはタダでも、

「30日間無料試用版ソフト使用！ラズパイとHDMIケーブル接続した画面でしか見えません！」

では実用性があるとは言い難いので、
高付加価値な構成とするため要件を定めたいと思います

「タダ」とは？

RaspberryPiや、データを取得するためのセンサはもちろんタダではありません。
今回は上記のようなハード購入費や、上記をインターネットに接続するための費用（ルータやネット回線）を除いてタダと定義したいと思います。

具体的には、
①RaspberryPiを出た後の処理は無料サービスのみで構成
→Raspberryから送信したデータを管理するDB、可視化ツールが相当します
②永続無料サービス
→「30日無料」等の期間付き無料サービスは除外。容量制限等は許容します

「見える化」とは？

一般の人からすると、「目的に合わせたグラフ表示」をすることに価値があると思います。
上記を軸として使い勝手を考慮し、下記の3条件を必須とします
①ダッシュボードでのグラフ表示をゴールとする
②自宅ネットワーク外からもアクセス可能とする
③維持コストの掛かるオンプレサーバは避け、クラウドサービスを使用する

調査結果まとめ

前章の条件を満たしつつ、「タダ」で「見える化」できるサービスをまとめてみました。

	①Ambient使用	②Google Spreadsheets + Data Portal	③クラウドDB + 自作可視化アプリ
データ管理	Ambient	Google Spreadsheets	クラウドDB
可視化	Ambient	Google Data Portal	自作アプリ(Web, モバイル等)
メリット	最小工数で可視化できる	手軽さとUIの綺麗さのバランス	自由度の高さ、スケールアップの容易さ
デメリット	自由度があまりなく、高度な分析は難しい	数万行以上のデータでは動作が非常に重い	開発工数大、無料版の制約が分かりづらい
想定用途	センサのテスト、電子工作	個人、少人数チームでのデータ共有効率化	高度な分析、サービス展開を前提とした開発

①Ambientを使用

下記のような構成となります（公式ホームページより）

ストレージと可視化を一括管理できるので
最小工数で見える化したい人向けだと思います。

②Google Spreadsheets + Google Data Portalを使用

下記のような構成となります

Googleの既存UIをフル活用できるので、
手軽にキレイなダッシュボードを作りたい人向けだと思います

③クラウドDB + 自作アプリで可視化

下記のような構成となります

拡張性が高く、無限の可能性が広がる方法だと思いますが、
選択肢が多い分、システム構成の検討や実装に手間が掛かります。

こちらを参考にさせて頂き、無料枠のある主要クラウドDBを表にまとめました

プラットフォーム	Heroku Postgre	MongoDB Atlas	Google Cloud Platform	Microsoft Azure	AWS
DB	Postgre	MongoDB	BigQuery	Cosmos DB	DynamoDB
方式	RDBMS	NoSQL	列志向	NoSQL	NoSQL
無料可視化ツール	自作が必要	自作が必要	Google Data Portal	Power BI	自作が必要
無料枠でできること	上限1万行	上限500MB	上限10GB(参考リンク)	上限5GB参考リンク	上限25GB(参考リンク)
メリット	貴重なリレーショナルDB	プラットフォーム依存低＆モバイル連携	Google Data Portalでお手軽UI	高機能なPowerBIを使える	市場シェアNo1で情報が多い

※無料枠があるとはいえ、上限を超えると予想外の金額が掛かってしまうこともあるので、あくまで最新情報を調査の上、自己責任でご使用ください (こんな恐ろいことも‥)

作ってみた

説明文や構成図だけではイメージが沸かないかと思うので、
下記構成で実際に実装した方法を下の章で解説します。

【構成】
クラウドDB：MongoDB Atlas
可視化ツール：Jupyter Notebook ＆ 自作Androidアプリ(別記事)

※なぜMongoDB Atlasを選んだか？

上表太字のメリットが理由となりますが、さらに詳しく言うと下記のようになります。
(本音を言うとAWS等は記事数が多いので、独自性を出したかったということもあります笑)

1. オンプレミスへの移植が容易

他のクラウド専用DBとは異なり、オンプレDBのMongoDBをベースとしており、少ない改造量で移植可

2. プラットフォーム依存性が低い

　企業として当たり前の戦略ですが、例えばAzureのDBからGCPのサービスを使用するには、互換性の壁があるようです。
　MongoDBであれば各プラットフォーマーが互換性を（自社DBほどでないにしろ）考慮しているので、どのプラットフォームとも連携、移植の工数が少なく済みます。

※逆に言うと、「私はGoogle一本に絞る」「チームのサービスがAzureで統一されている」という方は、Google Cloud DatastoreやAzure Cosmos DBにした方が、分析サービスとも容易に連携できますし、サポートも手厚いのでおすすめです

3. モバイル連携

こちらで記事となっているように、モバイル向けDBのRealmをMongoDB社が買収し、双方向のデータ同期を始めとした、モバイルアプリとAtlasとの連携性を大幅に強化しています。しかも無料枠が充実！
実際に使用してAndroidアプリを作ってみたので、紹介記事や、実際にアプリを作成した記事をご覧いただければと思います。

具体的な手順：①Ambient

公式サイトやこちらのサイトを参考にすれば、実装できると思います。

このツールで、下記グラフのような見える化をクラウド上で実現できます

とても簡単に操作・管理できる素晴らしいサービスなので、まずは一度触ってみるのが良いかと思います。

具体的な手順：②Google Spreadsheets + Google Data Portal

こちらやこちらの記事に、手順をまとめました。

下の図のようなダッシュボードが出力されます。

構成は下記のようになります

GoogleDataPortalは綺麗なUIをノンプログラミングで簡単に作る事ができます。
また使い慣れたGoogleのサービスを使用しており、安心感があるのも良いですね。

具体的な手順：③クラウドDB＋自作可視化アプリ

クラウドDBも可視化ツールも種類が多いですが、
ここでは分析用途を想定し、MongoDB Atlas＋Jupiter Notebookによる可視化を試してみました。

※下図のような自作Androidアプリも作ってみましたが、こちらは別記事で紹介します。

1. MongoDB AtlasへのDB作成と、RaspberryPiからのデータアップロード

こちらの記事の1章(MongoDB Atlasへの登録)と2章(RaspberryPiからのアップロード処理作成)の内容を実施してください

2. PythonからDBへのアクセス確認

PythonからMongoDB AtlasのDBにアクセスし、データが取得できることを確認します。

pymongoのインストール

PythonからMongoDBにアクセスするためのライブラリ「PyMongo」をインストールします

pip3 install pymongo

これだけだと
The "dnspython" module must be installed to use mongodb+srv
というエラーが出るので、下記コマンドでdnspythonをインストールします

pip3 install dnspython

データの取得

取得したデータをPandasに読み込ませます

atlastest.py

import pandas as pd
import pymongo

def get_collection_to_df(collection_name, filter=None, projection=None):
    #各種DB情報の定義
    USER_NAME = "1章で作成したMongoDB Atlasのユーザ名"
    CLUSTER_NAME = "1章で作成したMongoDB AtlasのCluster名"
    DB_NAME = "1章で作成したMongoDB AtlasのDB名"
    PASSWORD = "DBのパスワード"
    #MongoDBにアクセス（pymongoのMongoClientインスタンス作成）
    client = pymongo.MongoClient(f"mongodb+srv://{USER_NAME}:{PASSWORD}@{CLUSTER_NAME}.jipvx.mongodb.net/{DB_NAME}?retryWrites=true&w=majority")
    #データを取得してPandasのDataFrameに入力
    collection = client[DB_NAME][collection_name]
    cursor = collection.find(filter=None, projection=None)
    df = pd.DataFrame(list(cursor))
    return df

※引数filterおよびprojectionはDBから取得するデータにフィルタや射影を掛ける際に使用します

Jupyter Notebookでデータの冒頭だけ表示

上記に対してJupyter Notebook等でデータが取得できていることを確認できれば成功です。
なお、Jupyter Notebookのインストール方法はこちらに分かりやすくまとめられております
※Anacondaを使用する場合ライセンスに注意

import atlastest
import pandas as pd

SENSOR_COLLECTION_NAME = "1章で作成したセンサデータアップロード用コレクション名"
df = get_collection_to_df(SENSOR_COLLECTION_NAME)
df.head()

実行結果

_id Date_Master Date_ScanStart  no01_DeviceName no01_Date   no01_Temperature    no01_Humidity   no01_Light  no01_Human_last no01_HumanMotion    ... no07_DeviceName no07_Date   no07_Temperature    no07_Humidity   no07_BatteryVoltage no08_DeviceName no08_Date   no08_HumanLast  no08_HumanMotion    _partition
0   5f68cf4cadc32a9b7fbce8ae    2020-09-22 01:05:00 2020-09-22 01:05:04.159 Nature_Remo_1   2020-09-22 01:05:06.337 27.4    47.0    53.0    2020-09-21T16:04:58Z    1.0 ... SwitchBot_Thermo_1  2020-09-22 01:05:30.018 23.3    55.0    100.0   Sony_MeshHuman_1    2020-09-22 01:05:32.399 None    0   Project HomeIoT
1   5f68d0723c72e8deb4315773    2020-09-22 01:10:00 2020-09-22 01:10:04.524 Nature_Remo_1   2020-09-22 01:10:06.702 27.4    47.0    42.0    2020-09-21T16:09:15Z    1.0 ... SwitchBot_Thermo_1  2020-09-22 01:10:23.870 23.3    56.0    100.0   Sony_MeshHuman_1    2020-09-22 01:10:26.213 None    0   Project HomeIoT
2   5f68d1a3d4916d1fe1d054dc    2020-09-22 01:15:00 2020-09-22 01:15:03.862 Nature_Remo_1   2020-09-22 01:15:06.092 27.4    47.0    42.0    2020-09-21T16:09:15Z    0.0 ... SwitchBot_Thermo_1  2020-09-22 01:15:28.639 23.3    55.0    100.0   Sony_MeshHuman_1    2020-09-22 01:15:31.024 None    0   Project HomeIoT
3   5f68d2cb85e3ac1c7982ef6a    2020-09-22 01:20:00 2020-09-22 01:20:04.550 Nature_Remo_1   2020-09-22 01:20:06.749 27.4    47.0    42.0    2020-09-21T16:15:44Z    1.0 ... SwitchBot_Thermo_1  2020-09-22 01:20:24.392 23.2    55.0    100.0   Sony_MeshHuman_1    2020-09-22 01:20:26.968 None    0   Project HomeIoT
4   5f68d3f93fa649955fe4a5a5    2020-09-22 01:25:00 2020-09-22 01:25:04.178 Nature_Remo_1   2020-09-22 01:25:06.387 27.4    47.0    42.0    2020-09-21T16:15:44Z    0.0 ... SwitchBot_Thermo_1  2020-09-22 01:25:27.275 23.3    55.0    100.0   Sony_MeshHuman_1    2020-09-22 01:25:29.709 None    0   Project HomeIoT

3. Jupyter Notebookでグラフ表示

2章で取得したデータを、Jupyter Notebook (Matplotlib, Seaborn)でグラフ化してみます。

1週間分の気温をセンサごとに折れ線グラフ化

import atlastest
import pandas as pd
import pymongo
from datetime import datetime, timedelta
import matplotlib.pyplot as plt

SENSOR_COLLECTION_NAME = "1章で作成したセンサデータアップロード用コレクション名"
LIST_COLLECTION_NAME = "1章で作成したセンサ一覧コレクション名"
#1週間分のデータをフィルタで取得
startdate = datetime.now() - timedelta(days=7)
flt = {"Date_Master":{"$gte":startdate}}
df = atlasclient.get_collection_to_df(COLLECTION_NAME, filter=flt)
#センサ情報を取得してdict化
df_sensor_list = atlasclient.get_collection_to_df(LIST_COLLECTION_NAME)
name_dict = {'no'+format(device.no,'02d'):device.sensorname for device in df_sensor_list.itertuples()}
#抽出対象列（'Date_Master' + '_Temperature'で終わる列）
datecols = df.columns.str.endswith('Date_Master')
tempcols = df.columns.str.endswith('_Temperature')
extractcols = np.logical_or(datecols, tempcols)
df_temp = df.iloc[:, extractcols]
#列名から'_Temperature'を削除
for colname in df_temp.drop('Date_Master', axis=1).columns:
    df_temp = df_temp.rename(columns={colname:colname.replace('_Temperature', '')})
display(df_temp.rename(columns=name_dict).tail(1))
#全て表示
df_temp.rename(columns=name_dict).plot(x='Date_Master', rot=90, figsize=(18, 6))

1週間分の湿度を場所ごとに折れ線グラフ化

import atlastest
import pandas as pd
import pymongo
from datetime import datetime, timedelta
import matplotlib.pyplot as plt
import seaborn as sns

SENSOR_COLLECTION_NAME = "1章で作成したセンサデータアップロード用コレクション名"
LIST_COLLECTION_NAME = "1章で作成したセンサ一覧コレクション名"
#1週間分のデータをフィルタで取得
startdate = datetime.now() - timedelta(days=7)
flt = {"Date_Master":{"$gte":startdate}}
df = atlasclient.get_collection_to_df(COLLECTION_NAME, filter=flt)
#センサ情報を取得してdict化
df_sensor_list = atlasclient.get_collection_to_df(LIST_COLLECTION_NAME)
name_dict = {'no'+format(device.no,'02d'):device.sensorname for device in df_sensor_list.itertuples()}
#抽出対象列（'Date_Master' + '_Humidity'で終わる列）
datecols = df.columns.str.endswith('Date_Master')
humidcols = df.columns.str.endswith('_Humidity')
extractcols = np.logical_or(datecols, humidcols)
df_humid = df.iloc[:, extractcols]
#列名から'_Humidity'を削除
for colname in df_humid.drop('Date_Master', axis=1).columns:
    df_humid = df_humid.rename(columns={colname:colname.replace('_Humidity', '')})
#屋外の温度列名をリスト化
outdoor_humidcol_list = ['no'+format(device.no,'02d') for device in df_sensor_list.itertuples() if device.place.split('_')[0] == 'outdoor' and device.humidity == True]
#キッチンの温度列名をリスト化
kitchen_humidcol_list = ['no'+format(device.no,'02d') for device in df_sensor_list.itertuples() if device.place == 'kitchen' and device.humidity == True]
#屋内の温度列名をリスト化
indoor_humidcol_list = ['no'+format(device.no,'02d') for device in df_sensor_list.itertuples() if device.place == 'indoor' and device.humidity == True]
#屋外、屋内、キッチンの平均をとってプロット
df_humid_inout = df_humid[["Date_Master","no01"]]
df_humid_inout['Outdoor'] = df_humid[outdoor_humidcol_list].mean(axis=1)
df_humid_inout['Kitchen'] = df_humid[kitchen_humidcol_list].mean(axis=1)
df_humid_inout['Indoor'] = df_humid[indoor_humidcol_list].mean(axis=1)
df_humid_inout = df_humid_inout.drop('no01', axis=1)
#表示
df_humid_inout.plot(x='Date_Master', rot=90, figsize=(12, 4))

1週間分の湿度を場所ごとに箱ひげ図表示

前節スクリプトの最後の行を下記のように置き換えて、箱ひげ図表示することも可能です(Seaborn使用)

#場所ごとの列を行に分解して、箱ひげ表示
df_humid_stack = df_humid_inout.set_index('Date_Master')
df_humid_stack = df_humid_stack.stack()
df_humid_stack = df_humid_stack.reset_index()
df_humid_stack = df_humid_stack.rename(columns={'level_1':'place', 0:'Humidity'})
sns.boxplot(data=df_humid_stack ,x='place', y='Humidity')

屋外より屋内の方がばらつきが大きく、またキッチンは外れ値(お湯を沸かすと湿度UP)が多くみられます

以上のように、RaspberryPiで取得したデータを可視化することが出来ました！
PandasのDataFrameに入れさえしてしまえば、あとはどうとでもなる。という印象です。

Jupyter Notebookは気軽に可視化できますが、多人数での共有には向かないので、その場合はWebアプリを自作するかBIツールを使用するのが良いかと思います。

まとめ

・RaspberryPi取得データをタダで見える化する方法
　　①Ambient使用
　　②Google Spreadsheets + Data Portal
　　③クラウドDB + 自作可視化アプリ」

・クラウドDBは無料枠のあるサービスも多い。容量上限や連携サービスを見て選定がGood

・MongoDB Atlas + Jupter Notebook（＆別記事でスマホアプリ作成）で実際に可視化してみた