コンソールでGoogle Bigqueryを扱いたい！(select編)

概要

Google Bigqueryをコンソール上から扱う時の手順についてまとめる

ちなみに、下記のような時に恩恵が得られる

• 純粋にブラウザ開くのがめんどくさい時

環境

• Mac OS X 10.10.5

セットアップ

参考：
* Big Queryの使い方を10分で試してみる
* BigQuery console api “Cannot start a job without a project id”

CLIのセットアップ

# curl https://sdk.cloud.google.com | bash

とりあえず、流れに身を任せてYを連打もあり。

Googleアカウントにログイン

# gcloud config set account *******@gmail.com

# gcloud auth login
Go to the following link in your browser:

いい感じに承認する。

初期化する

# bq init

プロジェクト一覧が出るので選ぶ。

実行する

まずは試しに

bq query "select * from [dataset_name.table_name] limit 10"

ファイル書いてその中のsql文を実行したい

test.sql

select
    *
from
    [dataset_name.table_name]
limit 10

# --flagfile test.sql

フォーマット指定して、ファイル出力したい

# GLOBIGNORE=* && echo `cat test.sql` | bq query --format csv > test.csv && unset GLOBIGNORE

ワイルドカード(*)は、展開されてしまうので、GLOBIGNOREで一旦無視。
参考：glob(グロブ)について

なお、フォーマットは下記の通り

--format: <none|json|prettyjson|csv|sparse|pretty>


• pretty: formatted table output
• sparse: simpler table output
• prettyjson: easy-to-read JSON format
• json: maximally compact JSON
• csv: csv format with header

tsvにしたい

現状、tsv出力には対応していないっぽい。
ので、下記のコマンドでtsvに変換してやる

# sed -i -E "s/,/    /g" <ファイル名>

免責・その他

• この記事執筆時点の情報であること
• そもそも正しくない事もある
• 補足情報があればよろしくお願いしますm(_ _)m
• 大量のデータを取得する際に、途中で切れます。どうすればいいのでしょうか。。。