概要
Google Bigqueryをコンソール上から扱う時の手順についてまとめる
ちなみに、下記のような時に恩恵が得られる
- 純粋にブラウザ開くのがめんどくさい時
環境
- Mac OS X 10.10.5
セットアップ
参考:
* Big Queryの使い方を10分で試してみる
* BigQuery console api “Cannot start a job without a project id”
CLIのセットアップ
# curl https://sdk.cloud.google.com | bash
とりあえず、流れに身を任せてYを連打もあり。
Googleアカウントにログイン
# gcloud config set account *******@gmail.com
# gcloud auth login
Go to the following link in your browser:
いい感じに承認する。
初期化する
# bq init
プロジェクト一覧が出るので選ぶ。
実行する
まずは試しに
bq query "select * from [dataset_name.table_name] limit 10"
ファイル書いてその中のsql文を実行したい
test.sql
select
*
from
[dataset_name.table_name]
limit 10
# --flagfile test.sql
フォーマット指定して、ファイル出力したい
# GLOBIGNORE=* && echo `cat test.sql` | bq query --format csv > test.csv && unset GLOBIGNORE
ワイルドカード(*)は、展開されてしまうので、GLOBIGNOREで一旦無視。
参考:glob(グロブ)について
なお、フォーマットは下記の通り
--format: <none|json|prettyjson|csv|sparse|pretty>
- pretty: formatted table output
- sparse: simpler table output
- prettyjson: easy-to-read JSON format
- json: maximally compact JSON
- csv: csv format with header
tsvにしたい
現状、tsv出力には対応していないっぽい。
ので、下記のコマンドでtsvに変換してやる
# sed -i -E "s/,/ /g" <ファイル名>
免責・その他
- この記事執筆時点の情報であること
- そもそも正しくない事もある
- 補足情報があればよろしくお願いしますm(_ _)m
- 大量のデータを取得する際に、途中で切れます。どうすればいいのでしょうか。。。