0.43.0 バージョン以降の Spark-BQ コネクターにおけるビューの実体化仕様に関する検証結果

概要

0.43.0 バージョン以降の Spark-BQ コネクター（Apache Spark SQL connector for Google BigQuery）におけるビューの実体化仕様に関する検証結果を共有します。0.43.0 バージョンは2025年5月1日時点では未リリースですが、 0.42.1 バージョンから動作が変更されていることを確認できました。README にて 0.43.0 バージョン以降ではビュー参照時の仕様が変更された旨が記載されています。その仕様変更により、従来では BigQeury Data Editor 権限が必要でしたが、 BigQuery Data Viewer 権限で十分となったようです。

出所：spark-bigquery-connector

事前準備

BigQuery 上でビューを作成

-- データセットを作成
CREATE SCHEMA IF NOT EXISTS `jdbc_test_01`;

-- テーブルを作成
CREATE OR REPLACE TABLE `jdbc_test_01.table_01` AS
SELECT *
FROM UNNEST([
  STRUCT(1 AS id, 'Alice' AS name, 100 AS score),
  STRUCT(2 AS id, 'Bob'   AS name,  95 AS score),
  STRUCT(3 AS id, 'Carol' AS name,  98 AS score)
]);

-- ビューを作成
CREATE OR REPLACE VIEW `jdbc_test_01.view_01` AS
SELECT * FROM `jdbc_test_01.table_01`;


SELECT * FROM `jdbc_test_01.view_01`;

Google Cloud 上でサービスアカウントを作成

下記の権限を付与したサービスアカウントを作成し、キーを取得します。

• BigQuery Data Viewer
• BigQuery Job User
• BigQuery Read Session User

Google Colab にてノートブックを作成し Spark のバージョンを確

!pyspark --version

検証結果

0.41.0 バージョンでの検証

まず、ランタイムを接続解除して削除を選択して、ランタイムを初期化します。

サービスアカウントのキーを変数にセットします。

json_str = """{json_key}"""

SparkSession を定義します。

from pyspark.sql import SparkSession


spark = (
    SparkSession.builder
        .appName('bq_connector')
        .config('spark.jars.packages', 'com.google.cloud.spark:spark-3.5-bigquery:0.42.0') \
        .getOrCreate()
)

権限不足によりエラーとなることを確認します。

# プロジェクト ID を設定
parent_project_id = "axial-triode-XXXXX"

import base64

encoded_string = base64.b64encode(json_str).decode('utf-8')

# データ取得元のテーブル名を設定
table_name = "jdbc_test_01.view_01"

df = (
    spark.read
    .format("bigquery")
    .option("parentProject", parent_project_id)
    .option("credentials", encoded_string)
    .option("viewsEnabled", True)
    .option("table",table_name)
    .load()
)

df.limit(50).show(truncate=False)

Caused by: com.google.cloud.spark.bigquery.repackaged.com.google.common.util.concurrent.UncheckedExecutionException: com.google.cloud.spark.bigquery.repackaged.com.google.cloud.bigquery.BigQueryException: Access Denied: Dataset axial-triode-368703:jdbc_test_01: Permission bigquery.tables.create denied on dataset axial-triode-XXXX:jdbc_test_01 (or it may not exist).

0.41.1 バージョンでの検証

まず、ランタイムを接続解除して削除を選択して、ランタイムを初期化します。

サービスアカウントのキーを変数にセットします。

json_str = """{json_key}"""

SparkSession を定義します。

from pyspark.sql import SparkSession


spark = (
    SparkSession.builder
        .appName('bq_connector')
        .config('spark.jars.packages', 'com.google.cloud.spark:spark-3.5-bigquery:0.42.1') \
        .getOrCreate()
)

データを取得できることを確認します。

import base64

encoded_string = base64.b64encode(json_str).decode('utf-8')

# データ取得元のテーブル名を設定
table_name = "shared_dataset_01.view_01"

df = (
    spark.read
    .format("bigquery")
    .option("parentProject", parent_project_id)
    .option("credentials", encoded_string)
    .option("viewsEnabled", True)
    .option("table",table_name)
    .load()
)

df.limit(50).show(truncate=False)

BigQuery のログ

0.42.0 バージョンのログ概要

0.42.1 バージョンのログ概要

#	methodName	タイミング・役割	主な権限チェック (authorizationInfo)
1	jobservice.insert	★ ジョブ作成リクエストクライアント → BigQuery	bigquery.jobs.create``bigquery.tables.getData（view_01 / table_01）
2	google.cloud.bigquery.v2.JobService.InsertJob	BigQuery がリクエストを受理しジョブ ID を確定（operation.first=true）	bigquery.jobs.create
3	google.cloud.bigquery.v2.JobService.InsertJob(tableDataRead)	基表 table_01 のデータ読み取り記録	bigquery.tables.getData
4	jobservice.jobcompleted	★ クエリ完了通知（operation.last=true）実行統計・課金量などを記録	―（完了時は権限検証なし）
5	google.cloud.bigquery.v2.JobService.InsertJob(jobInsertion)	BigQuery 側から見た「ジョブ状態遷移」ログ	―
6	jobservice.getqueryresults	クライアントがクエリ結果（一時テーブル）を取得	bigquery.jobs.create（ジョブ所有者確認）

0.42.0バージョンのログ概要

#	methodName	代表的に検証された権限 (authorizationInfo)
1	jobservice.insert	bigquery.jobs.create``bigquery.tables.getData (view_01 / table_01)bigquery.tables.create & tables.updateData（一時テーブル用）
2	google.cloud.bigquery.v2.JobService.InsertJob(operation.first)	bigquery.jobs.create
3	google.cloud.bigquery.v2.JobService.InsertJob(tableCreation)	bigquery.tables.create
4	google.cloud.bigquery.v2.JobService.InsertJob(tableDataChange)	bigquery.tables.updateData
5	google.cloud.bigquery.v2.JobService.InsertJob(tableDataRead)	bigquery.tables.getData
6	jobservice.jobcompleted	―
7	google.cloud.bigquery.v2.JobService.InsertJob(jobChange)	―
8	jobservice.getqueryresults	bigquery.jobs.create``bigquery.tables.getData（一時テーブル）
9	google.cloud.bigquery.v2.JobService.GetQueryResults(tableDataRead)	bigquery.tables.getData
10	tableservice.update	bigquery.tables.update``bigquery.tables.delete
11	google.cloud.bigquery.v2.TableService.PatchTable	bigquery.tables.update
12	google.cloud.bigquery.storage.v1.BigQueryRead.CreateReadSession	bigquery.readsessions.create``bigquery.tables.getData
13	google.cloud.bigquery.storage.v1.BigQueryRead.ReadRows	bigquery.tables.getData

BigQuery Data Editor権限を付与して正常実行後のログを取得しています。