jupyter notebookからBigQueryを使う

試した環境

localのdockerでjupyterを起動

$ cat docker-compose.yml
version: "3"
services:
  jupyter:
    image: jupyter/datascience-notebook
    ports:
      - "8888:8888"
    volumes:
      - jupyter_data:/opt/conda
      - jovyan_data:/home/jovyan
    container_name: jupyter
volumes:
  jupyter_data:
  jovyan_data:

必要なパッケージのインストール

jupyter notebookだとブラウザ上からターミナルを呼び出してpip installができる。

pip install pandas-gbq -U
pip install --upgrade google-api-python-client
pip install --upgrade oauth2client

BigQueryとの接続

事前にBigQueryにデータセットとテーブルを作成しておく。
※今回は気象庁から横浜市の気温データを取り込んで使用。

# BigQuery接続テスト(standardSQL)
import pandas as pd
query = 'SELECT * FROM dataset.table_name'
data_frame = pd.read_gbq(query, 'project_id', dialect='standard')

pd.read_gbqを実行した時にURLが表示されるので、そこからgoogle　accountの認証を行う。
認証後に表示されるコードを登録することでデータが取得できる。