More than 5 years have passed since last update.

csv データをIoT Analyticsに入れてQuickSightで可視化（東京の天気）

Last updated at 2019-06-20Posted at 2019-05-28

やりたいこと

IoT Analyticsでは、AWS IoT Coreで取得したデータ以外に、BatchPutMessage を使って、データを取り込むことができます。
「実運用ではIoT Coreからのデータを解析したいが、すでにある過去のCSVデータを取り込んで、どういった可視化や解析が可能かを試してみたい」といったときに使えます。
今回、気象庁から東京の天気をCSVで取得して、それをQuickSightで可視化することを試します。
https://docs.aws.amazon.com/iotanalytics/latest/APIReference/API_BatchPutMessage.html

元データを入手

今回は、気象庁の過去の気象データを取得
https://www.data.jma.go.jp/gmd/risk/obsdl/

東京にチェックを入れる

日別の平均気温

３０年分ゲット

CSVをダウンロード。

sjisのようです。

IoT Analyticsにデータを送る

Channel、Pipeline、Data Storeを作る

今回は入力データをそのまま使うので、Pipelineでは特に処理を行わない。

Channel ID: tokyo_temperature

Create Channel を押す

チャネルからパイプラインを作成。

Attribute をセットする。次のアクティビティはそのまま。

tokyo_temperature_store というData store nameにして、Create。

データのPost

手元のPCで以下を実行します。

import csv
import json
import datetime
import boto3

channelName = "tokyo_temperature"
with open('data.csv', encoding='shift_jis') as csvfile:
    reader = csv.reader(csvfile)
    messages = []
    for row in reader:
        if len(row) > 3:
            format_str = '%Y/%m/%d'
            try:
                date = datetime.datetime.strptime(row[0], format_str)
                temperature = row[1]
                blob = {
                        "date": date.isoformat(),
                        "temperature": float(row[1])
                    }
                obj = {
                    "messageId": date.strftime("%Y-%m-%d"),
                    "payload": json.dumps(blob).encode()
                }
                messages.append(obj)
            except:
                continue

    client = boto3.client('iotanalytics', region_name='us-east-1')
    i = 0
    while i < len(messages):
        client.batch_put_message(
            channelName=channelName,
            messages=messages[i:i+99]
        )
        i += 100