はじめに
こちらの記事で、大きなCSVを日付ごとのファイルに分割しました。これをもとに、BigQueryのシャーディングテーブル(テーブル名にサフィックスで日付がついているもの)を作成する手順です。
※ ブラウザだけでできます。
初期状態
- GCS、BigQueryともに、同じプロジェクトの前提です。
(1) GCS
バケットとファイル(全部で848ファイル)
owid-covid-data
├─ owid-covid-data_20200101.csv
├─ owid-covid-data_20200102.csv
├─ owid-covid-data_20200103.csv
├─ ・・・
└─ owid-covid-data_20220427.csv
(2) BigQuery
プロジェクトとデータセット
sample-proj1
└─ test_dataset_1
やりたいこと・最終形
【最終形】BigQueryのプロジェクトとデータセット
sample-proj1
└─ test_dataset_1
├─ owid-covid-data_20200101
├─ owid-covid-data_20200102
├─ owid-covid-data_20200103
├─ ・・・
└─ owid-covid-data_20220427
手順
(1) GCPのCloud Shellを起動
(2) シェルスクリプトを作成
- 後で実行するシェルを作成。もうこれがほぼすべて。
import_csv.sh
#!/bin/bash
# owid-covid-data内のファイルをリストし、1つ1つでループ
for file_full_path in `gsutil ls gs://owid-covid-data`
do
# ファイル名(ファイル名/より左を削除)
file_name=${file_full_path##*/}
# ベース名(ピリオドより右を削除)
file_basename=${file_name%.*}
# テーブル名(データセットとベース名を結合)
table_name=test_dataset_1.${file_basename}
# 念のためファイルの存在を確認
if [ ${#file_full_path} -gt 0 ]; then
# CSVからBigQueryへインポート
# --autodetect: テーブルの列定義を、ファイルから自動検出
# --source_format=CSV: 形式はCSV(省略可能)
# テーブル名、元ファイル
bq load --autodetect --source_format=CSV ${table_name} ${file_full_path}
echo ${table_name}
fi
done
- 下記のGCPコマンドを利用している。Cloud Shellで試してみるとよい。
-
gsutil ls gs://owid-covid-dataで、バケット内のファイル一覧を取得できる -
bq load --autodetect --source_format=CSV test_dataset_1.owid-covid-data_20200101.csv owid-covid-data_20200101でGCSのCSVからBigQueryにテーブルを1つ作成できる
-
(3) シェルスクリプトを実行
sh import_csv.sh
- 1回どーんと実行するだけ。
- ただし、内部的には
bq loadの1回1回の呼び出しごとに数秒かかるので、CSV数が多いと時間がかかる。
おわりに
今回はうっかり848個のファイルを使ってしまったので時間は結構かかりましたが、放置しておけばよいので、それでも特に問題ないです。
