はじめに
今回は、Dr.Sum DataFunnelでミリ秒単位のデータを丸める処理について書いていきます。
設備から直接送られてくるデータは、ミリ秒単位のデータになっていることが多いですが、
可視化する際には、そこまで細かいデータは必要ないと思います。
その場合に、予めDataFunnelでデータを丸めることができます。
2.パイプライン定義を作ってみる
今回は、以下のようなシンプルなデータを使っていきます。
※一部抜粋※
jikan,value
2022/02/22 15:11:19.968537,0.900973862
2022/02/22 15:11:19.968537,0.916207125
2022/02/22 15:11:19.968537,0.959604765
2022/02/22 15:11:19.968537,0.928447962
2022/02/22 15:11:19.968537,0.904356185
2022/02/22 15:11:19.968537,0.905493181
2022/02/22 15:11:19.968537,0.832456135
2022/02/22 15:11:19.968537,0.867242689
2022/02/22 15:11:19.968537,0.903938056
2022/02/22 15:11:19.968537,0.818963725
2022/02/22 15:11:19.968537,0.849112969
では、パイプライン定義を作っていきます。
1.取り込むデータの設定
テーブル化の設定等は、一番下の参考サイト等を見てください。
2.時刻の丸め設定
左側のメニューから「時刻関連項目の設定」を選び丸め処理を行います。
設定はこれだけです！
ではサンプルデータで結果をプレビューで確認していきましょう。
3.プレビューで確認
1の取り込むデータの設定で指定したデータを使っていきます。
設定をしながらプレビューで結果を確認できるので、便利ですよね！
左側のメニューで「データ処理」を選択し、プレビューを見ていきます。
新たに「TIME_5COUNT」という項目が追加され、時刻が丸められていますね！
これだけでも十分かと思いますが、せっかく時刻を丸めていくなら、他の値もサマリして全体のレコード数を省略していきたいと思います。
ミリ秒オーダーのデータを細かく見ないのに、そのままデータとして残すのは、容量だったりパフォーマンスに影響しそうですよね。
4.SQLでグループ化
SQLで簡単にグループ化をしていきます。
入力データ項目をドラッグ＆ドロップで左側のクエリービルダーにもっていき、グループ化の設定を行います。
もう一度プレビューすると、データがサマリされているのが分かりますね！！
まとめ
ここまで出来たら、あとはDr.Sumに格納するだけでおしまいです。
最後に元のデータとDataFunnelで加工して投入したデータを比較してみようと思います。
加工され、データの総レコード数も少なくなっていますね。
時刻の丸めだけでなく、グループ化でデータをサマリしながら蓄積する方法を紹介しました。
ぜひお試しください！