0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

BigQuery コマンド一覧

Last updated at Posted at 2021-07-20

・ログインし直す

 $ gcloud init

・現在のログイン情報を出力する

 $ gcloud info

・既存テーブルのスキーマ情報を取得する

bq show --project_id=プロジェクトID --schema --format=prettyjson データセット.テーブル名 > ファイル名.json

・テーブルを作成する

bq mk プロジェクト名:データセット名.テーブル名 ローカルファイルpath\テーブル名.json

・テーブルを更新する

bq update プロジェクト名:データセット名.テーブル名 ローカルファイルpath\テーブル名.json

・空テーブルにデータを投入する

bq load --project_id=プロジェクトID --allow_quoted_newlines=true --field_delimiter="," --ignore_unknown_values=TRUE --max_bad_records=0 --skip_leading_rows=1 --source_format=CSV プロジェクトID:データセットID.テーブル名 ローカルpath/実データcsv ローカルpat/テーブル.json

・テーブルをコピーする

bq cp コピー元データセット名.コピー元テーブル名 コピー先データセット名.コピー先テーブル名

・proxyを設定する

gcloud config set proxy/address アドレス
gcloud config set proxy/port 番号
gcloud config set proxy/type httpなど

・bq queryでSQL結果をcsvに落とす

bq query --nouse_legacy_sql --format=csv --max_rows=2147483647 'SELECT * FROM `test`' > /bin/source/test.csv

・新規スケジュールクエリ作成

bq query --project_id=プロジェクトID --use_legacy_sql=false --replace=true --destination_table=データセット名.テーブル名 --display_name=スケジュールクエリ名 --schedule="every day 21:00" < C:\Users\test\Desktop\sqlが保存されているテキスト.sql

・既存のスケジュールクエリの実行ユーザーをサービスアカウントに切り替える場合

bq update --transfer_config --update_credentials --service_account_name=サービスアカウント名 リソース名
※リソース名…スケジュールクエリ発行時に発番されるID

・パーティションの有効期限設定
https://cloud.google.com/bigquery/docs/managing-partitioned-tables?hl=ja#sql

bq update --time_partitioning_expiration 172800 プロジェクト名:データセット名.テーブル名

テーブルのスキーマ情報取得

bq show --schema プロジェクト:データセット.テーブルID
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?