More than 1 year has passed since last update.

SQLを使ってCSVファイルをBQにインサート

Posted at 2022-08-04

前提

BQに取り込みたいデータをGCSにファイルをアップロード
※今回はCSVファイルで置きました

LOAD DATA INTO フォルダ名.フォルダ名
PARTITION BY date
FROM FILES (
format = 'CSV',
uris = ['GCSオブジェクト詳細にある　gsutil URL']);

2022-06-01から2022-07-01のデータが入っているCSVをBQに格納する

DELETE 
FROM `xxxxxxxxxxxxxxxxxxxxxxxxx` 
WHERE date between "2022-06-01" and "2022-07-01"

インサートする前に2022-06-01から2022-07-01の誤ったデータを削除しておく

Could not parse 'date' as DATE for field date (position 0) starting at location 0 with message 'Unable to parse'

CSVファイルの日付が2022/1/01のようになっていたので、2022-01-01に変更
また、カラムをスキップしていなかったのでCSV側で削除

再度、実行でインサートできました！

SQLを書くだけでGCSに置かれたファイルをBQに格納することができるということを知りました。
ターミナルからでも同様のことができるようなので、試してみます。(参考文献に置いてます)