注意
私はGCPもpythonもjupyterも初心者です。ぐぐりながら動かせてとても嬉しかったので投稿させていただきました。
間違いなどありましたら教えていただけるとありがたいです。
参考
BigQueryのデータを作っておく
GCPのコンソールを開く
サイドメニューの「BigQuery」を選択
「データセットを作成」をクリック
データセットIDを「test_data_set」にして作成してみました
テスト用にテーブルとデータを簡単に作成
以下のクエリをクエリエディタに貼って実行をクリック
create table test_data_set.t (i INT64);
insert into test_data_set.t values (1),(2),(5),(7),(12);
データができたので、こちらをJupyterを使って見てみようと思います。
ノートブックのインスタンス作成
サイドメニュー > 「AI Platform」 > 「ノートブック」 を選択する
「新しいインスタンス」 ＞ 「Python 2 and 3 」 を選択しました
リージョンなどが選択でき、見積もり金額も表示されるのですが、今回は試したらすぐインスタンスを削除するのでデフォルトの設定のままで「作成」を押しました
「JUPYTERLAB を開く」をクリック
JupyterLabが開く
最初bigqueryのデータを取得しようとした時に、
"UserWarning: Cannot create BigQuery Storage client, the dependency google-cloud-bigquery-storage is not installed."
とエラーになったので先にgoogle-cloud-bigquery-storageをインストールしておく
「コンソール」をクリック
google-cloud-bigquery-storage をインストールする
$ pip install google-cloud-bigquery-storage
Python3を押して新しいノートブックを作成
JupyterLabのデフォルトで/tutorials/bigquery/BigQuery basics.ipynbと言うファイルがありわかりやすい説明もありましたので、その辺を参考に簡単にbigqueryからのデータ取得の処理を作成してみました
from google.cloud import bigquery
client = bigquery.Client(location="US")
query = """
select *
from test_data_set.t
order by i
"""
query_job = client.query(
query,
# Location must match that of the dataset(s) referenced in the query.
location="US",
) # API request - starts the query
dv = query_job.to_dataframe()
print(df)
df.plot()
「▷」を押して実行
最初に作ったbigqueryのデータをグラフ表示することができました！
最後に料金がかかるので、「停止」で停止しておく
最後まで見ていただいてありがとうございましたm(_ _)m