DatabricksからOracleAutonomousにアクセスしてみた

はじめに

Databricksとは統合データ分析プラットフォームで、データの取得、ETL処理、DWH機能、分析、可視化、様々な言語(Python、Scala、R、SQL、Markdown)が使用できます。

今回はDatabricksのCommunity EditionでAlwaysFreeのOracle Autonomous Databaseからデータを取得します。他のAWS、Azure、GCPのDatabricksでも可能となります。

Databricksログイン

Community Editionのdatabricksにログインします。

クラスター作成

ログイン後トップ画面に遷移するので、左のメニューから「Compute」をクリックします。

「Create Cluster」をクリックします。

「Cluster Name」を入力して、後はデフォルトのまま「Create Cluster」をクリックします。

クラスター内での使用モジュール設定

以下を参考にPythonでOracle Databaseにアクセス出来るcx_Oracleの使用を考えていましたが、エラーが発生してしまいます。そのためcx_oracleの後継で、Oracle Client不要で接続出来るpython-oracledbを使用します。

クラスター作成完了後、「Libraies」をクリックして「Install new」をクリックします。

Library Sourceを「PyPI」に選択し、Packageに「oracledb」を入力。「Installボタン」をクリックします。

これでクラスター内にモジュールのインストールが完了しました。

Notebook作成

左のメニューから「Create」をクリックし、「Notebook」をクリックします。

Nameに「ノートブック名」を入力し、「Create」ボタンをクリックします。

作成されたNotebookのコードに以下を入力します。

import oracledb

connection = oracledb.connect(user='',password='',dsn='')

with connection.cursor() as cursor:
    try:

        sql = """select systimestamp from dual"""
        for r in cursor.execute(sql):
            print(r)

    except oracledb.Error as e:
        error, = e.args
        print(error.message)
        print(sql)
        if (error.offset):
            print('^'.rjust(error.offset+1, ' '))

Oracle Autonomous Database設定

Autonomous側の設定を行います。
「Mutual TLS (mTLS) authentication」の編集をクリックします。OFFにして「変更の保存」をクリックします。

次に「アクセス制御リスト」の編集をクリックします。
「IP表記法タイプ」を「CIDRブロック」に選択し、「値」を「0.0.0.0/0」を入力して「変更の保存」をクリックします。

この0.0.0.0/0はすべての通信を許可する設定になります。
開発・本番は指定のIPアドレスを指定して保護するように注意してください。

「DB接続ボタン」をクリックします。

「TLS認証」を「TLS」に選択して、接続したい優先度の「接続文字列」のコピーをクリックして他に保存してきます。

実行

先ほどコピーした内容をdsnに張り付けて、接続するユーザー、パスワードを入力して▲をクリックして実行します。

日付が取得出来れば成功です。

参考にさせて頂いたサイト

これで以上となります。
見て頂きありがとうございました。