【BigQuery】 個人的覚えておくべき用語とよく使うbqコマンド

はじめに

BigQueryすごいですよね。
早い上に安い！ まさにこれ以上ないですね。

今回はGoogleが提供する最強のビッグデータ解析サービスBigQueryについて紹介していきたいと思っています。

覚えておくべき用語

[参考URL] https://www.apps-gcp.com/bigquery-introduction/

まずトップ階層にプロジェクトがあります。
そして、そのプロジェクトの中にデータセットがあり、その中にテーブルがあるという構成になっています。

プロジェクトというのはGCPのプロジェクトで、データセットはいわゆるRDBでいうデータベースにあたります。

よく用いるbqコマンド

Developer Consoleから操作してもいいのですが、自動化するにはコマンドラインから操作した方がなにかと都合がよいです。
そこで、ここから自分がよく使用するbqコマンドを列挙してみたいとおもいます。

bqコマンドはGoogle Cloud SDKをインストールすることで利用できるようになります。

1. bq help [コマンド名]

これは、いわゆるhelpコマンドです。
なにかわからないコマンドがあったときはとりあえずこれを叩きます笑

ex)

$ bq help ls
Python script for interacting with BigQuery.


USAGE: bq [--global_flags] <command> [--command_flags] [args]


ls         List the objects contained in the named collection.

           List the objects in the named project or dataset. A
           trailing : or . can be used to signify a project or
           dataset.
           * With -j, show the jobs in the named project.
           * With -p, show all projects.

           Examples:
           bq ls
           bq ls -j proj
           bq ls -p -n 1000
           bq ls mydataset
           bq ls -a
           bq ls --filter labels.color:red
           bq ls --filter 'labels.color:red labels.size:*'
           bq ls --transfer_config --transfer_location='us'
           --filter='dataSourceIds:play,adwords'
           bq ls --transfer_run --filter='states:SUCCESSED,PENDING'
           --run_attempt='LATEST'
           projects/p/locations/l/transferConfigs/c
           bq ls --transfer_log
           --message_type='messageTypes:INFO,ERROR'
           projects/p/locations/l/transferConfigs/c/runs/r

           Flags for ls:

2. bq ls

データセット一覧の参照。
「-p」オプションをつけるとプロジェクト一覧を参照することができます。

3. bq query

クエリの実行する場合のコマンド。

ex)

$ bq query 'select * from sample_dataset.sample_table'

4. bq show

データセットの詳細を確認したいときに用いるコマンドです。

5. bq mk

テーブル作成のコマンドです。

ex)

$ bq mk new_dataset.new_table

6. bq rm

データセットやテーブルを削除するためのコマンドです。

ex)

$ bq rm sample_dataset

7. bq head

テーブルのレコード一覧を出力するためのコマンドです。

ex)

$ bq head sample_dataset.sample_table

8. bq shell

ターミナル環境をbqコマンド専用のシェル環境に切り替えるためのコマンド。
結構便利。わざわざbqと打つ必要がなくなる。

以上です！