Bigqueryで使用したbqコマンド

ログイン
gcloud auth login

gcloud config set project kaggle-rec-hoge
最後はプロジェクトID

bq help
bq help ls

データセット一覧
bq ls

テーブル一覧
bq ls recruit

プロジェクト一覧
>bq ls -p
        projectId            friendlyName
 ----------------------- ---------------------
  kaggle-rec-hoge   Kaggle-rec
  my-project-khoge     My Project Khoge

USロケーションにデータセットを作成するコマンド
$ bq mk --data_location=US new_dataset

bq mk データセットID.作成したいテーブル名
bq mk kaggle-rec-hoge:new_dataset
bq mk kaggle-rec-hoge:new_dataset.new_table
# idじゃなくてもいけるっぽい
bq mk new_dataset.new_table2

bq –dataset_id=データセットID mk テーブル名
bq –dataset_id=kaggle-rec-hoge:new_dataset mk NEWTABLE

bq rm dataset_sample
# データセットIDでなくて、データセットの名前でも行けたが、IDのほうが安全な気はする
bq rm new_dataset.NEWTABLE
bq rm kaggle-rec-hoge:new_dataset.NEWTABLE

データセットとテーブルをまとめて削除するためのコマンド
$ bq rm -r dataset_sample
-f 

GCS上のCSVファイルをBigQueryのテーブルとしてインポートするコマンド

bq help load | findstr \--
bq help load | findstr auto

bq --location=LOCATION load \
--autodetect \
--source_format=FORMAT \
DATASET.TABLE \
PATH_TO_SOURCE
次のように置き換えます。

LOCATION: ロケーションの名前。--location フラグは省略可能です。たとえば、BigQuery を東京リージョンで使用している場合は、このフラグの値を asia-northeast1 に設定します。ロケーションのデフォルト値は、.bigqueryrc ファイルを使用して設定できます。
FORMAT: NEWLINE_DELIMITED_JSON または CSV。
DATASET: データの読み込み先のテーブルを含むデータセット。
TABLE: データの読み込み先のテーブル名。
PATH_TO_SOURCE: CSV または JSON ファイルの場所です。

bq load --autodetect --source_format=CSV new_dataset.air_store_info gs://kag-recruit/input/air_store_info.csv

bq rm -r new_dataset2