LoginSignup
21
27

More than 3 years have passed since last update.

GCPでJupyterLabを使ってBigQueryのデータを可視化してみた

Last updated at Posted at 2020-08-23

注意

私はGCPもpythonもjupyterも初心者です。ぐぐりながら動かせてとても嬉しかったので投稿させていただきました。
間違いなどありましたら教えていただけるとありがたいです。

参考

BigQueryのデータを作っておく

GCPのコンソールを開く

サイドメニューの「BigQuery」を選択

Screen Shot 2020-08-23 at 18.27.52.png

「データセットを作成」をクリック

Screen Shot 2020-08-23 at 18.32.48.png

データセットIDを「test_data_set」にして作成してみました

Screen Shot 2020-08-23 at 18.33.46.png

テスト用にテーブルとデータを簡単に作成

以下のクエリをクエリエディタに貼って実行をクリック

create table test_data_set.t (i INT64);
insert into test_data_set.t values (1),(2),(5),(7),(12);

Screen Shot 2020-08-23 at 18.45.00.png

データができたので、こちらをJupyterを使って見てみようと思います。

Screen Shot 2020-08-23 at 18.45.59.png

ノートブックのインスタンス作成

サイドメニュー > 「AI Platform」 > 「ノートブック」 を選択する

Screen Shot 2020-08-23 at 17.36.45.png

「新しいインスタンス」 > 「Python 2 and 3 」 を選択しました

Screen Shot 2020-08-23 at 17.53.28.png

リージョンなどが選択でき、見積もり金額も表示されるのですが、今回は試したらすぐインスタンスを削除するのでデフォルトの設定のままで「作成」を押しました

Screen Shot 2020-08-23 at 18.03.53.png

「JUPYTERLAB を開く」をクリック

Screen Shot 2020-08-23 at 18.10.47.png

JupyterLabが開く

Screen Shot 2020-08-23 at 19.14.42.png


最初bigqueryのデータを取得しようとした時に、

"UserWarning: Cannot create BigQuery Storage client, the dependency google-cloud-bigquery-storage is not installed."

とエラーになったので先にgoogle-cloud-bigquery-storageをインストールしておく

「コンソール」をクリック

Screen Shot 2020-08-23 at 19.12.40.png

google-cloud-bigquery-storage をインストールする

$ pip install google-cloud-bigquery-storage

Screen Shot 2020-08-23 at 19.09.06.png


Python3を押して新しいノートブックを作成

Screen Shot 2020-08-23 at 18.55.47.png

JupyterLabのデフォルトで/tutorials/bigquery/BigQuery basics.ipynbと言うファイルがありわかりやすい説明もありましたので、その辺を参考に簡単にbigqueryからのデータ取得の処理を作成してみました

from google.cloud import bigquery

client = bigquery.Client(location="US")

query = """
    select *
    from test_data_set.t
    order by i
"""

query_job = client.query(
    query,
    # Location must match that of the dataset(s) referenced in the query.
    location="US",
)  # API request - starts the query

dv = query_job.to_dataframe()
print(df)
df.plot()

「▷」を押して実行

Screen Shot 2020-08-23 at 19.33.57.png

最初に作ったbigqueryのデータをグラフ表示することができました!


最後に料金がかかるので、「停止」で停止しておく

Screen Shot 2020-08-23 at 19.41.54.png


最後まで見ていただいてありがとうございましたm(_ _)m

21
27
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
21
27