Databricks にて Python ファイルや CSV ファイルなどをまとめてエクスポートしたいときには Source file としてエクスポートすることがおすすめ

概要

Databricks にて Python ファイルや CSV ファイルなどをまとめてエクスポートしたいときにはSource fileとしてエクスポートすることがおすすめです。

Databricks Workspace 上のコンテンツをエクスポートする際には、dbc ファイルとしてエクスポートすることが一般的だったのですが、Source fileとしてエクスポートできるようになりました。

Python ファイルや CSV ファイルを保持しているフォルダを、DBC archieveではノートブックのみエクスポートされます。

同様のフォルダをSource fileにてエクスポートすると、すべてのエクスポートされることを確認できました

事前準備

1. Databricks workspace 上にフォルダを作成後、ノートブックや Python ファイルなどを作成

エクスポートした際の動作確認

1. DBC archieveとしてエクスポートした場合の動作

1-1. 作成したフォルダのハンバーガーメニュー（…） -> Export -> DBC archieveを選択

1-2. ダウンロードしたファイルの拡張子をdbcからzipに変更

1-3. zip ファイルを解凍後にフォルダを確認すると ノートブックのコードのみが保持されていることを確認

2. Source fileとしてエクスポートした場合の動作

2-1. 作成したフォルダのハンバーガーメニュー（…） -> Export -> Source fileを選択

2-2. zip ファイルを解凍後にフォルダを確認すると Python ファイルや CSV ファイルが保持されていることを確認

まとめ

Databricks にて Python ファイルや CSV ファイルなどをまとめてエクスポートしたいときにはSource fileとしてエクスポートすることで可能であることを検証しました。エクスポートしたファイルをインポートすることもできます。