環境
- MacOS X 10.14.5 (Mojave)
- Homebrew 2.2.5
- Google Cloud SDK 281.0.0
- bq 2.0.53
GCPアカウント登録
【画像で説明】Google Cloud Platform (GCP)の無料トライアルでアカウント登録
Google Cloud SDKのインストール
プロジェクト作成
サービスアカウント / サービスアカウントキーの作成
PythonからGCSにアクセスできるうようにするため、サービスアカウント / サービスアカウントキーを作成します。
サービスアカウント作成
gcloud iam service-accounts create サービスアカウントネーム \
--display-name サービスアカウントディスプレイネーム \
今プロジェクトに紐付いている権限を確認
gcloud projects get-iam-policy mypj-id
# bindings:
# - members:
# - user:anata_no_address@gmail.com
# role: roles/owner
# etag: BwWeTrntoao=
# version: 1
サービスアカウントへ権限付与
BigQuery管理者の権限を付与
gcloud projects add-iam-policy-binding プロジェクトID \
--member serviceAccount:サービスアカウントネーム@プロジェクトID.iam.gserviceaccount.com \
--role roles/bigquery.admin
roleリスト
再度権限を確認
gcloud projects get-iam-policy mypj-id
# bindings:
# - members:
# - user:anata_no_address@gmail.com
# role: roles/owner
# - members:
# - serviceAccount:mysa-name@mypj-id.iam.gserviceaccount.com
# role: roles/bigquery.admin
# etag: BwWeTz6vIBY=
# version: 1
データセットを作成
bq --location US mk --dataset(-d) プロジェクトID:データセットID
csvファイルの読み込み
※ テーブルは自動で作られます。
bq load \
--autodetect \ # スキーマの自動設定
--source_format CSV \
データセット名.テーブル名 \
local/path/to/file.csv
テーブルの確認
bq ls
# datasetId
# -----------
# テーブル名