1
Help us understand the problem. What are the problem?

More than 1 year has passed since last update.

posted at

updated at

BigQueryにローカルのcsvファイルをインポート

環境

  • MacOS X 10.14.5 (Mojave)
  • Homebrew 2.2.5
  • Google Cloud SDK 281.0.0
  • bq 2.0.53

GCPアカウント登録

【画像で説明】Google Cloud Platform (GCP)の無料トライアルでアカウント登録

Google Cloud SDKのインストール

Google Cloud SDKのインストール ~ 初期化

プロジェクト作成

Google Cloud SDKでプロジェクトを作成する

サービスアカウント / サービスアカウントキーの作成

PythonからGCSにアクセスできるうようにするため、サービスアカウント / サービスアカウントキーを作成します。

サービスアカウント作成

gcloud iam service-accounts create サービスアカウントネーム \
                                   --display-name サービスアカウントディスプレイネーム \

スクリーンショット 2020-02-10 0.10.39.png

今プロジェクトに紐付いている権限を確認

gcloud projects get-iam-policy mypj-id

# bindings:
# - members:
#   - user:anata_no_address@gmail.com
#   role: roles/owner
# etag: BwWeTrntoao=
# version: 1

サービスアカウントへ権限付与

BigQuery管理者の権限を付与

gcloud projects add-iam-policy-binding プロジェクトID \
--member serviceAccount:サービスアカウントネーム@プロジェクトID.iam.gserviceaccount.com \
--role roles/bigquery.admin

スクリーンショット 2020-02-10 0.16.18.png

roleリスト

再度権限を確認

gcloud projects get-iam-policy mypj-id

# bindings:
# - members:
#   - user:anata_no_address@gmail.com
#   role: roles/owner
# - members:
#   - serviceAccount:mysa-name@mypj-id.iam.gserviceaccount.com
#   role: roles/bigquery.admin
# etag: BwWeTz6vIBY=
# version: 1

データセットを作成

bq --location US mk --dataset(-d) プロジェクトID:データセットID

csvファイルの読み込み

※ テーブルは自動で作られます。

bq load \
--autodetect \ # スキーマの自動設定
--source_format CSV \
データセット名.テーブル名 \
local/path/to/file.csv

テーブルの確認

bq ls

#  datasetId
# -----------
#  テーブル名

参照

Register as a new user and use Qiita more conveniently

  1. You can follow users and tags
  2. you can stock useful information
  3. You can make editorial suggestions for articles
What you can do with signing up
1
Help us understand the problem. What are the problem?