TreasureData

TresureDataにinsertする方法

More than 1 year has passed since last update.

TresureDataでinsertする方法はいくつかありますが、自分用にメモ

やりたいこと

・TresureDataにinsertする

CLIからinsert その1(td query)

参考:https://docs.treasuredata.com/articles/result-into-td

td query -d example_db -w -T presto "insert into example_tbl(col1,col2) select '1','2'"

あるいは

td query -d example_db -w --result 'td://@/example_db/example_tbl' "select '1','2'"

CLIからinsert その2(td import:auto)

参考:https://docs.treasuredata.com/articles/bulk-import-from-csv
CSVファイルからinsertする場合

sudo td import:auto --format csv --column-header --encoding UTF-8 --all-string --time-column time --parallel 8 --prepare-parallel 8 --invalid-columns-handling autofix --auto-create example_db.example_tbl path/to/*.csv

注意点としてはtime-columnオプションは必須なので、csvには必ず時間列が必要。もしないって場合はすべて0でもよいので、列を作る必要があり。
またcsvファイルの列が固定出ない場合でも自動で列を生成してくれたりもする。

コンソールからinsert

新しいバージョンのコンソールの場合
image.png

古いコンソールの場合
image.png

まとめ

その他知りたいことがあれば、documentを確認しましょう。
https://docs.treasuredata.com/articles/quickstart