今回はBigQuery上の「データセットの総容量と総レコード数を調べる方法」をご紹介します。

クエリ構文

今回使うクエリ元は以下の通りです。これらを少しいじっていきます。

①指定したテーブルの容量を出す

SELECT  
SUM(size_bytes)  / 1000000000 AS GBs
FROM Dataset.table

②指定されたテーブルの行数を出す

SELECT  
SUM(row_count) AS Rows
FROM `Dataset.table`

以上の二つで簡単にテーブルの容量と行数が出ます。

データセット全体の容量と総レコード数を算出する

データセット全体(Datasetsに含まれるテーブル全て)のサイズと行数を知りたいときは、「ワイルドカード」を使用すると簡単に調べる事ができます。

Dataset.table1、Dataset.table2、Dataset.table3、Dataset.table4・・・とテーブルが大量に存在するときは「*」を使うことで全てのテーブル指定できます。つまり、

Dataset.* = Dataset.table1、Dataset.table2、Dataset.table3、Dataset.table4・・・
となります。なので、

①指定したDatasetの容量を出す

SELECT  
SUM(size_bytes)  / 1000000000 AS GBs
FROM `Dataset.*`

②指定されたDatasetの行数を出す

SELECT  
SUM(row_count) AS Rows
FROM `Dataset.*`

となります。シンプルですね。ワイルドカード便利。

DatasetにViewが含まれている時は注意

先ほどのワイルドカードを使用したクエリ、実は弱点があります。それは、

「DatasetにViweが含まれる場合は、クエリはエラーを返す」です。

Google Cloudの公式にもあるように、

制限事項
ワイルドカードテーブルクエリには、次の制限が課されます。
ワイルドカードテーブルの機能はビューをサポートしません。ワイルドカードテーブルがデータセットのビューと一致すると、クエリはエラーを返します。クエリの WHERE 句に _TABLE_SUFFIX 擬似列を使用してフィルタを除外していても同様です。

どういう事でしょう。実験します。

Viewにワイルドカードを使えないとはどういう事か

今回はこの「Tableau」というデータセットで実験します。

二つのテーブルと二つのViewが入っています。

先ほどの記載の通りクエリを走らせようとすると・・・

走りませんね。エラーの通り、「*はViewを含む、テータセットでは使えません」とあります。

「View1」と「View2」が邪魔しているみたいです。

残念ながら、Viewを含むDatasetを調べる際には他の方法でやる必要があります。

メタテーブルを使ったクエリで解決する

ワイルドカードを使わない方法も勿論あります。さすがBig Query大先生。

それは「メタデータ」を使用するクエリです。こちらもGoogle Cloudのヘルプにあるように、

メタテーブルを使用する
BigQuery では、内容がメタデータ（テーブルの名前など）を表す特別なテーブルがいくつか提供されます。メタテーブルは読み取り専用です。通常、メタテーブルを使用するには SELECT ステートメントでメタテーブルを参照します。
メタテーブルは、クエリジョブだけでなく、tables.get や tabledata.list などの他の API オペレーションでも使用できます。メタテーブルは tables.insert をサポートせず、宛先テーブルとしては使用できません。また、テーブルデコレータもサポートしていません。メタテーブルは、データセットの tables.list には表示されません。

データセット内のテーブルに関するメタデータ
データセット内のテーブルに関するメタデータには、TABLES または TABLES_SUMMARY メタテーブルを使用してアクセスできます。

つまり、

from Dataset.TABLES

とすることで、Dataset内にあるテーブルを全て指定することになります。
なので、

SELECT
SUM(size_bytes)  / 1000000000 AS GBs,
SUM(row_count) AS Records
FROM `Dataset.__TABLES__`

とすれば良さそうです。

実際にやってみた

実際に入力画面がこちら。エラー出ていませんね。

そして結果がこちら。

5.5GB、2億行でした。(適当なデータセットだったんですが、結構なボリューム)

まとめ

BigQuery上の「データセットの総容量と総レコード数を調べる方法」ですが、

データセットに含まれるのがテーブルのみならば、ワイルドカード(*)を使えば算出できる
Viewを含む場合はワイルドカードは使えず、「from Dataset.TABLES」を使う必要がある

でした。