Databricks（Spark）にてPython（PySpark）・SQL・Scalaにより利用するSparkデータベースを変更する方法

概要

Databricks（Spark）にて、Python（PySpark）・SQL・Scalaのそれぞれの言語別に利用するSparkデータベースを変更する方法を共有します。

手順

事前準備

# 現在のデータベースを`default`へ初期化
setCurrentDatabase = spark.catalog.setCurrentDatabase('default')
currentDatabase = spark.catalog.currentDatabase()
print(currentDatabase)

%sql
--切り替え対象のデータベースを作成
create database if not exists qiita;

Python（Pyspark）で実施する方法

%python

database = 'qiita'
setCurrentDatabase = spark.catalog.setCurrentDatabase(database)


currentDatabase = spark.catalog.currentDatabase()
print(currentDatabase)

SQLで実施する方法

%sql

use qiita;

select current_database() 

Scalaで実施する方法

%scala
val database = "qiita"
val setCurrentDatabase = spark.catalog.setCurrentDatabase(database)


val currentDatabase = spark.catalog.currentDatabase
println(currentDatabase)

関連記事

• External metastore にインポートする table DDLs を作成する方法-Azure Databricks - Workspace | Microsoft Docs