免責
本投稿は、個人の意見で、所属する企業や団体は関係ありません。
対象
はじめてkintone / AWS Lambdaを触る方に向けのレベルです。
前提 & はじめに
IoTハンズオンで使われたkintoneデータがあったので、集計処理をしてみるlambdaを作ってみます。私の前提ですが、
・初めてkintoneを触ります
・nodejs初めて書きます(Lambda用)
・Qiitaへの投稿も初めてです
という状態、かつ、残り時間1日しかないぎりぎりでやってました（汗
狙い
Lambdaのスケジュールイベントでバッチ処理ができるようになったので、データ統計を日/月で統計データが作れるかなといった感じです。
IoTのデータベースで正規化しにくいDBだったのでレポート作成してみようと思った次第。
IoTの話は、ToshiakiEnamiのこのあたりの記事をご参照ください。
#構成
やっぱりサーバレスでやりたいですよね！
Lambdaのみです。
元のデータ
多くのセンサー(ハンズオン受講者数分)とセンサータイプ(気温と湿度)、値、作成日時があります。
LambdaでkintoneAPI
一括のレコード取得方法、まずはまりました。
テストで一件取得をやったがために、URIの違いに気が付かず。。
url: "https://" + YOURDOMAIN + ".cybozu.com/k/v1/record.json",
url: "https://" + YOURDOMAIN + ".cybozu.com/k/v1/records.json",
複数件取得の場合、record.json -> record[s].jsonに変わる。なまじ一件が動いてしまい、はげるほど悩む。。
queryパターンで日付などはkintoneのAPI側で関数が用意されています。便利。
kintone API getについてはこちら
今回の取得クエリ例
request({
method: 'GET',
url: "https://" + YOURDOMAIN + ".cybozu.com/k/v1/records.json",
headers: {
'X-Cybozu-Authorization': 'hoge',
'Authorization': 'Basic hoge',
'Content-Type': 'application/json'
},
json: {
'app': APP_ID,
'query': 'SensorType = ' KIND '
'fields': ['DeviceID', 'Value', 'Datetime']
}
一括取得時には制限にお気を付けください。上記kintone apiより抜粋
一度に取得できるレコードは 500件までです。
リクエスト時にクエリで指定できる fields の添字は、0~99の範囲になります。
リクエスト時にボディで指定できる fields数は 1000個までです。
Lambda zip ケアレスミス
nodejsはzip圧縮でLambdaへ。ここでもZipの方法を間違えて悩む。
スクラッチからLambdaの利用でど忘れでした。
開発環境
kintone
├── main.js
└── node_modules
としてましたが、 kintoneの階層から zipしたために、module not found。ありがちですので、皆様気を付けてー
正しくは、 kintoneディレクトリで
zip -r kintone.zip main.js node_modules
としてzipファイル配下はフラットな構造である必要があります。
コード自体は、データソースに対して一括GET取得し、reportスペースにGETで登録とシンプルなコードです。
ここまででコードを書くのと、はまるのを含めて3時間ちょい位です。
非常に簡単です。
#Lambdaスケジューラーの設定例
毎日時刻1:00(JST)に起動する例
cron(0 16 * * ? *)
振り返り
データ取得、投入は比較的容易にできました！
個人的には投入したデータをAPIでグラフ化、出力までできるようになると運用レポートが自動作成できていいのではないかなと思いました。
見落としていたらすみません、なのですが、グラフ作成、出力のAPIが欲しいですー
本当にやりたかったこと
時間があればデータは一度S3にputして、再度 Lambda起動後にreportスペースに入れたかったです。
意図としては、
・S3に残すことでバックアップ及びバルクでデータ投入が楽になる(はず）
・データ解析としてredshiftとかに用途を変更するとかフレキシビリティが上がる
かなと考えてました。
こんな感じです
kintone要素少な目ですみませんー