1. はじめに
「Dr.Sum Data Funnelで異常値を検出してみた」ではData Funnelで受信したデータを加工して、異常値を検出してエラーフラグを追加したデータを作成しました。
今回はData Funnelで受信したデータを加工して、レコードの補間を設定していきます。
Dr.Sum Data Funnelの概要、またはデータファイルでの連携については「Dr.Sum Data FunnelでCSVファイルを連携してみた」を参考にして下さい。
2. パイプライン定義で時刻関連項目を設定
※パイプライン定義は「Dr.Sum Data FunnelでCSVファイルを連携してみた」で使用した「mqttpublish_test」を流用します。
時刻関連項目の設定画面で以下を設定して「追加」ボタンをクリックします。
分析用日時項目：DTTM
項目名：UPDATETIME(任意)
丸め単位：1秒
丸め方：切り捨て
「分析フレームとする」にチェックを入れる
※レコードの補間を設定する場合、「分析フレームとする」をオンにする必要があります。
項目が追加されたことを確認します。
3. パイプライン定義でレコードの補間を設定
「データ処理」＞「レコードの補間」をクリックします。
レコードの補間画面で以下を設定して「追加」ボタンをクリックします。
説明：前回値で補間(任意)
埋める値
ARRIVEDTIME：保管された分析フレームから算出される時刻
TOPIC：前回値
MACHINE：前回値
DTTM：保管された分析フレームから算出される時刻(固定)
STR：前回値
VAL：前回値
UPDATETIME：保管された分析フレームから算出される時刻(固定)
項目が追加されたことを確認して「OK」ボタンをクリックします。
※今回の例では、データが欠損した場合に分析フレーム単位で前レコードの値を使用してデータ補間する設定になります。
※レコードの補間についての詳細は以下のマニュアルを参照下さい。
4. プレビューで確認
設定した処理の動作確認をするために、サンプルデータを使用してプレビューすることができます。
(1)データの準備
以下のサンプルデータを準備します。
2022/08/18 10:00:01.000000 Test AAA 2022/08/18 10:00:01.000000 XXX 40
2022/08/18 10:00:02.000000 Test AAA 2022/08/18 10:00:02.000000 XXX 90
2022/08/18 10:00:03.000000 Test AAA 2022/08/18 10:00:03.000000 XXX 100
2022/08/18 10:00:04.000000 Test AAA 2022/08/18 10:00:04.000000 XXX 30
2022/08/18 10:00:06.000000 Test AAA 2022/08/18 10:00:06.000000 XXX 10
2022/08/18 10:00:07.000000 Test AAA 2022/08/18 10:00:07.000000 XXX 20
2022/08/18 10:00:08.000000 Test AAA 2022/08/18 10:00:08.000000 XXX 10
(2)サンプルデータの貼り付け
(1)で準備したサンプルデータをコピーし、「サンプルデータ」の「選択セルから貼り付け」をクリックして、サンプルデータが表示されることを確認します。
※タブ区切りのCSVファイルやExcelから直接貼り付けが可能です。
(3)プレビュー
「データ処理」の「プレビュー」ボタンをクリックして「03:レコードの補間」を選択します。
※欠損データとしてサンプルデータから削除したレコード(「2022/08/18 10:00:05」)がレコードの補間機能でデータが生成されていることが確認できます。
まとめ
Dr.Sum Data Funnelの加工処理の「レコードの補間」で欠損したデータを分析フレーム単位で補間する方法について説明しました。プログラムを書かなくても手軽に加工処理ができることがわかっていただけたと思います。
ウイングアーク1st社のホームページからDr.Sum Data Funnelハンズオンの申込ができるようです。
興味がある方はぜひ申込してみてください！