はじめに

LambdaからBigQueryのクエリを発行します。その調査記録です。
基本はAWSを使用していますが、定期的にGCPのBigQueryを参照する機会がありました。
簡単にLambdaで実行すると便利かと思いました。

環境の概要

LambdaのPythonから、GCPのSDKを使用します。
GCPのSDKはレイヤーに保持します。
AWS側に、GCPの認証を設定する必要があります。

SDKと言っているのは、Pythonのクライアントライブラリーのことです。
https://googleapis.dev/python/bigquery/latest/generated/google.cloud.bigquery.client.Client.html

手順

前提条件

AWSアカウントを所有している。
GCPアカウントを所有している。APIからBigQueryを使える。
BigQueryテーブルは作成済み。
AWSのアクセスキーを所有している

Lambda関数を作成する。

BigQueryを実行するのみのPythonコードです。まずは、これを動かします。

Lambda関数の設定は以下です。
- 新規作成
- Python3.8
- アクセス権限は自動生成のCloudWatch Logsのみ。
- タイムアウトは30秒にしました。
- レイヤーと環境変数は後ほど。
- <>は自分の値を設定します。

import json
from google.cloud import bigquery

def lambda_handler(event, context):
    client = bigquery.Client()
    sql = """
        SELECT *
        FROM `<my-project>.<my-dataset>.<my-table>`
        LIMIT 10
    """

    # Run a Standard SQL query using the environment's default project
    results = client.query(sql).result()
    for row in results:
        print(row)

    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }

Lambdaのレイヤーに登録するための、GCPのSDKを作成する。

LambdaのPythonでimport bigquery を使用するために、SDKをレイヤーに追加します。
pipで取得してzipで固めます。
CloudShellが使えるようになったので、以下の赤枠のボタンからポチっと。

実行手順を記載します。<>の箇所は、自分の値を設定します。

# pipのインストール
curl -O https://bootstrap.pypa.io/get-pip.py
python3 get-pip.py

ここ、CloudShellの初期設定そのままでpip install ...だとpipが見つからず・・
pip3 install ...とすると、うまくいきませんでした😭
ですので、pipをインストールしています。

# sdkのインストール&zip化
pip install google-cloud-bigquery -t ./python/
zip -r google-cloud-bigquery.zip python
# protobufが必要なため追加
pip install protobuf --upgrade -t ./python/
zip -r google-cloud-bigquery.zip ./python/google/protobuf

# s3に保存
aws s3 mb s3://<my-bucket>
aws s3 cp google-cloud-bigquery.zip s3://<my-bucket>

作成したライブラリをLambdaのレイヤーに登録する。

Lambdaに戻ります。

レイヤーを作成します。

ランタイムは、Python 3.7、Python 3.8を追加しました。

関数にレイヤーを追加します。
- レイヤーを選択して、レイヤーの追加を押します。
名前は、「お客様のレイヤー」から選択。バージョンは作成したものを選択。

- レイヤーが追加されました。

レイヤーを追加すれば、S3のファイルは削除してしまって大丈夫です。

GCPの認証ファイルを取得する。

認証を追加する必要があります。

jsonのサービスアカウントキーを作成します。

上記リンク中の[サービスアカウントキーの作成] ページに移動から。
役割は「BigQuery管理者」を選択しました。

GCPの認証ファイルを、Lambdaに登録する。

jsonはNew Fileから、テキストをコピー＆ペーストで追加しました。
環境変数GOOGLE_APPLICATION_CREDENTIALSを追加します。

テスト実行

Lambdaコンソールからテスト実行できました！

つまった点

protobufが無いとエラーが出て困りました・・・
StackOverflowで事例を検索して解決しました。

おわりに

いろいろこれでいいのかと思うところはありますが、実行出来たので掲載しました！

SDKはpython直下に置くべきか、site-packagesに置くべきか。
Pythonのバージョンが固定されないよう、Python直下にしました。
SDKの作り方はこれでよいのか。
zipに追加するところ
GCPの認証ファイルはもっと隠せないのか。
環境変数、KMS、パラメータストアなどで。
2020.12.16
- CloudShellで実行する記載にしました。動作確認しました。

LambdaからBigQueryを実行する