Databricks(Spark)の Spark SQL にて変数を利用する方法

概要

Databricks(Spark)の Spark SQL にて変数を利用する方法として、spark.conf を利用する方法を紹介します。

コード例１　カラムの値を指定

spark.conf に値をセット

spark.conf.set('da.val.msg', 'Hello World')

Spark SQL にて変数を利用

%sql
SELECT
  "${da.val.msg}" AS message

コード例２　テーブル名を指定

事前準備

view_name = 'test'

spark.createDataFrame([{'int_col': '1'}]).createOrReplaceTempView(view_name)

spark.conf に値をセット

spark.conf.set('dq.val.view_name', view_name)

Spark SQL にて変数を利用

%sql
SELECT
  *
  FROM 
    ${dq.val.view_name}