Treasure Data上特定のレコードを削除する

timeを活用して特定のレコードを削除する

Treasure Data上のテーブルに格納されているレコードを削除する

• 期間を指定して削除コマンドを実行(partial_delete)
  • CLI

partial_deleteでデータの作成日(time)の範囲を指定してレコードが削除できます。でもtime以外のカラム例idなどを指定してレコードを削除したいです。

テーブルのレコード

time	id	name	age
1498727491	1	jane	30
1498727491	2	lucy	20
1498727491	3	boby	25
1498727491	4	stepin	26
1498727491	5	lily	28

• 1498727491はデータの作成日:2017-06-29 18:11:31

やりたいこと

id=4のレコードを削除したいです。

やる方法

partial_deleteでtimeを元に削除するため、timeを活用したら実現できます。
上記のレコード再作成。idをintのままtimeに変換してtimeとして保存する。

time	id	name	age
1	1	jane	30
2	2	lucy	20
3	3	boby	25
4	4	stepin	26
5	5	lily	28

コマンド実行

$ td table:partial_delete example_db original_table  --from 4 --to 5
Time for the -f / --from and -t / --to options must either be a multiple of 3600 (1 hour)
  or be expressed in Ruby time string format where the minutes and seconds are 0

エラーになって、timeのfrom、toは3600 (1 hour)の倍数にしないといけないです。
なるほど、上記のレコードを再作成time=id * 3600

time	id	name	age
3600	1	jane	30
7200	2	lucy	20
10800	3	boby	25
14400	4	stepin	26
18000	5	lily	28

コマンドを再実行

$ td table:partial_delete example_db original_table --from 14400 --to 18000
Partial delete job 17227446 is queued.
Use 'td job:show 17227446' to show the status.

コンソール画面で確認したら、

Duration 00:00:02
SQL Query

DELETE FROM original_table WHERE 14400 <= time AND time < 18000

一瞬で終わり。

結果

time	id	name	age
3600	1	jane	30
7200	2	lucy	20
10800	3	boby	25
18000	5	lily	28

正常に削除できました。

年齢は26~29歳のレコードを削除

同じくageを3600の倍数に変換してtimeとしてレコードを作成する

time	id	name	age
108000	1	jane	30
72000	2	lucy	20
90000	3	boby	25
100800	5	lily	28

コマンドを実行

$ td table:partial_delete example_db original_table --from 93600 --to 108000
Partial delete job 17227447 is queued.
Use 'td job:show 17227447' to show the status.

結果

time	id	name	age
108000	1	jane	30
72000	2	lucy	20
90000	3	boby	25

まとめ

Treasure Data上partial_deleteでレコードを削除できますが、time以外の項目を指定して削除できません。特定のレコードを削除する場合、当カラム(type: int)をtimeとして保存すれば、削除できます。