Databricks on AWS > Oracle DB on RDS 接続時のドライバ設定

Databricks から Oracle DB を参照する際のメモです。
ネットワーク設定も終わったしあとはドキュメントにあるとおりやれば大丈夫だろうと思っていたのですが、ドライバのバージョンで詰まったので記しておきます。

Oracle Driver

今回は VAR ファイルを用います。ダウンロードページはこちら。

手元の Databricks クラスタでは Runtime 7.5 を利用していますが、最新バージョンの ojdbc11.jar だと java が対応してないと怒られました。かわりに ojdbc8.jar を用います。以下をダウンロード。

ドライバインストール

管理しやすそうなディレクトリにアップロードします。ドライバ自体は秘匿すべき情報ではないので DBFS 配下でよいでしょう。

ドライバのパスを控えておきます。

Spark API Format をコピー

Cluster > Libraries > Install New > JDBC/S3 > Jar と進み、コピーしたファイルパスを貼り付けて Install をクリック

この状態になれば完了

接続

この状態であればこちらのドキュメントのクエリを叩くことで、Databricks のテーブルと同様にアクセスすることができます。

create_oracle_table

CREATE TABLE oracle_table
USING org.apache.spark.sql.jdbc
OPTIONS (
  dbtable 'table_name',
  driver 'oracle.jdbc.driver.OracleDriver',
  user 'username',
  password 'pasword',
  url 'jdbc:oracle:thin://@<hostname>:1521/<db>')

テーブル化できれば以下のようにクエリ発行可能です。

python

%sql
SELECT * from oracle_table

python

query = "SELECT * from oracle_table"
df = spark.sql(query)

参考 (上記以外)