More than 1 year has passed since last update.

Databricksで python モジュールをimportするには？

Last updated at 2021-12-25Posted at 2021-12-06

はじめに

Databricksを使っていく上で、最初の方でぶつかるのがpythonモジュールのimportではないでしょうか？すでにpublishされているライブラリー等であれば、pipなど使って installできますが、カスタムモジュールを導入するにはどんな方法があるのでしょうか？今回、様々な方法を探ってみました。

カスタムモジュール　or カスタムライブラリーの導入手段

自分が見つけた方法については以下のやりかたです。

github と連携してモジュールをimport
DBFS上にモジュールをアップロードして、pythonライブラリーパスを追加
libifyをインストールし、ノートブック間のimportを実現する -- 設定方法
wheelを作成して、ワークスペースライブラリとしてインストール --- 設定方法
wheelを作成して、git上に配置して、pip install ---- 設定方法

番外編）　クラスや関数が書かれた別のnotebookを読み込んで実行する。

他にも方法があるかもしれませんが、もしご存知であれば是非教えてください。

3,4,5 については、すでに設定方法の記事がありますので、そちらをご覧ください。今回は1,2のモジュールimport方法と番外編の別のノートブックを実行するをご紹介したいと思います。

1. githubと連携して、モジュールをimportする

今回は、こちらにある手順を参考にしました。

1) sample code作成

sample.py

def n_to_mth(n,m):
  print(n, "to the", m, "th power is", n**m)

2) ReposによるGit連携

Databricksの Repos機能を使って Git連携する方法については、こちらをご覧ください。

今回は、https://github.com/databricks/files_in_repos.git　と連携しました。

連携が完了すると、Reposメニューから files_in_reposが見えるようになります。

3) Reposにあるnotebookから、同一の directoryもしくは sub directoryにあるモジュールが importできます。

今回は、files-in-repos notebookから実行します。

これは、Reposの current directory pathが自動的にpython pathに追加されているため、上記のようにモジュールを importできるようになります。

もし、別の directoryにあるノートブックから、実行する場合は、repos pathを事前に追加する必要があります。

import sys
import os

# In the command below, replace <username> with your Databricks user name.
sys.path.append(os.path.abspath('/Workspace/Repos/<username>/supplemental_files'))