0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

GCSにあるCSV群をBigQueryへ取り込む

0
Posted at

はじめに

こちらの記事で、大きなCSVを日付ごとのファイルに分割しました。これをもとに、BigQueryのシャーディングテーブル(テーブル名にサフィックスで日付がついているもの)を作成する手順です。
※ ブラウザだけでできます。

初期状態

  • GCS、BigQueryともに、同じプロジェクトの前提です。

(1) GCS

バケットとファイル(全部で848ファイル)
owid-covid-data
├─ owid-covid-data_20200101.csv
├─ owid-covid-data_20200102.csv
├─ owid-covid-data_20200103.csv
├─ ・・・
└─ owid-covid-data_20220427.csv

(2) BigQuery

プロジェクトとデータセット
sample-proj1
└─ test_dataset_1

やりたいこと・最終形

【最終形】BigQueryのプロジェクトとデータセット
sample-proj1
└─ test_dataset_1
    ├─ owid-covid-data_20200101
    ├─ owid-covid-data_20200102
    ├─ owid-covid-data_20200103
    ├─ ・・・
    └─ owid-covid-data_20220427

手順

(1) GCPのCloud Shellを起動

  • GCPの上のバーの右のほうに、Cloud Shellを起動するアイコンがあるのでクリック。
    image.png
  • 画面の下に、1/3~1/4くらいのShellの画面が出てくる。

(2) シェルスクリプトを作成

  • 後で実行するシェルを作成。もうこれがほぼすべて。
import_csv.sh
#!/bin/bash

# owid-covid-data内のファイルをリストし、1つ1つでループ
for file_full_path in `gsutil ls gs://owid-covid-data`
do
	# ファイル名(ファイル名/より左を削除)
	file_name=${file_full_path##*/}
	# ベース名(ピリオドより右を削除)
	file_basename=${file_name%.*}
	
	# テーブル名(データセットとベース名を結合)
	table_name=test_dataset_1.${file_basename}
	
	# 念のためファイルの存在を確認
	if [ ${#file_full_path} -gt 0 ]; then
		# CSVからBigQueryへインポート
		# --autodetect: テーブルの列定義を、ファイルから自動検出
		# --source_format=CSV: 形式はCSV(省略可能)
		# テーブル名、元ファイル
		bq load --autodetect --source_format=CSV ${table_name} ${file_full_path}
		echo ${table_name}
	fi
done
  • 下記のGCPコマンドを利用している。Cloud Shellで試してみるとよい。
    • gsutil ls gs://owid-covid-dataで、バケット内のファイル一覧を取得できる
    • bq load --autodetect --source_format=CSV test_dataset_1.owid-covid-data_20200101.csv owid-covid-data_20200101でGCSのCSVからBigQueryにテーブルを1つ作成できる

(3) シェルスクリプトを実行

sh import_csv.sh
  • 1回どーんと実行するだけ。
  • ただし、内部的にはbq loadの1回1回の呼び出しごとに数秒かかるので、CSV数が多いと時間がかかる。

おわりに

今回はうっかり848個のファイルを使ってしまったので時間は結構かかりましたが、放置しておけばよいので、それでも特に問題ないです。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?