はじめに

Domoを使い始めて、二ヶ月目。データをいろいろ集めてはいますが、日々、精進しております。

今回は、とあるK○t○neのデータを毎日最新版として取り込んでいますが、今後、変更箇所を見ていくこともあると思い、
取り込んだデータの履歴を全て取り込んでいます。

ですが、使うのは最新のデータだけ！

最新のデータだけ使えるようにするETLを紹介します。

対象者

ETL初心者

使ったデータ

今回、使ったデータは、こんな感じです。追加なので、これを数回取り込んで使ってみました。

データを追加で取り込むとは？

そもそもデータを追加で取り込むというのは、どういうことか！？

Domoには、データを取り込むときのバターンとして、「置き換え」と「追加」というモードがあリます。
「置き換え」とは、今入っているデータを全て削除して、データを置き換えます。
そのため、前のデータは無くなります。
それに対して「追加」は、前のデータは残しながら、データを追加で保存しておきます。

その設定は、DataSetを作るときに、アップデートモードというものがあり、
更新方法を、「追加」にすると、そのような動きになります。

データの追加の時のデータ構造

追加で保存されると、データが混ざってしまわないか、心配になりますよね。
そこはご心配なく！

追加でデータを取り込んだときには、【_BATCH_ID_】、【_BATCH_LAST_RUN_】の列が自動的に追加されます。

【_BATCH_ID_】には、取り込んだ時のグループ番号が入ります。初めて取り込んだら１、そこから取り込むたびに＋１された数値が入ります。
【_BATCH_LAST_RUN_】には、取り込んだ時の時間が入ります。タイムスタンプ型なので秒まで格納されますが、取り込む時間がすごく掛かっても、同じグループ番号の時間は同じものが入るようです。

ただデータが、どんどん積み上がっていくので、このままグラフにするとかは、加工するのは難しい状態です。

最新のデータだけ抽出する。

とりあえず使うデータは最新のデータだけでいいので、【_BATCH_LAST_RUN_】だと一番新しい時間、【_BATCH_ID_】だと一番大きいものが対象になります。

ではETLで作っていきます。

完成したETLはコチラ！

まずは、こんな感じでいけます。ひとつづつ説明していきます。

１.定数追加します。

はじめに【tmp_key】という列で、値は１を追加します。
これ見たら「何やっているの？」っという気持ちになりますが、最後までお付き合いください。m(_ _)m

２.分岐して、グループ化

グループ化するキーは【tmp_key】と設定
新しい集計列には【batch_max】とつけます。
新しい列は【_BATCH_ID_】の「最大」を入れることにします。

出来上がったデータをプレビューで見てみた。
そりゃそうだ！
【tmp_key】に１入れて、それでグルーピングしたら、一行になるよ！
でも【_BATCH_ID_】の最大の数値を手に入れることができた！

３.【_BATCH_ID_】の最大の数値を結合する。

「結合」を使います。
JOINタイプを「左外側」に設定して、元のデータを基本にしていきます。
結合条件は追加した【tmp_key】。。。。。１が入っているんだよなぁ。
出力列については【tmp_key】が重複しているので、どっちかを消します。

これでどうなるんだろう。。。。

データを見てみると、全ての行に【batch_max】の値が追加されています。

そっか！！！！

4.行フィルターで、【_BATCH_ID_】の最大の数値だけ残す。

全ての列に【_BATCH_ID_】の最大の数値である【batch_max】が入っています。
【_BATCH_ID_】と【batch_max】が同じ行だけ残せば、最新のデータだけにすることができます。

「行をフィルター」を使って、
フィルターをかける列は、【_BATCH_ID_】
比較タイプは、「等しい」
比較する対象は、「列からの値」で【batch_max】を指定します。

5.出力DataSetを使う。

出力DataSetを使って、最新のデータだけになったDataSetを使えることになります。
列を選択を使って、【tmp_key】【batch_max】などは削除してもらっても大丈夫ですが、省略します。

まとめ

スクリプト使ったりすれば、もっとシンプルにできるかもしれません。
もっと良い方法があれば、教えてください！

今回もお疲れ様でした。