More than 1 year has passed since last update.

Databricksクラスターライブラリ

Posted at 2022-06-09

本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。

クラスターライブラリは、クラスターで稼働しているすべてのノートブックから利用することができます。PyPIやMavenのような公開リポジトリから直接クラスターライブラリをインストールしたり、事前にインストールされたワークスペースライブラリからインストールすることができます。

クラスターにライブラリをインストールする

クラスターにライブラリをインストールするには主に2つの方法があります。

さらに、ライブラリにカスタムの設定が必要な場合、上述の方法を用いてライブラリをインストールすることができないかもしれません。代わりに、クラスター作成時にinitスクリプトを用いてライブラリをインストールすることができます。

注意
クラスターにライブラリをインストールする際、すでにクラスターにアタッチされているノートブックからはすぐに参照することはできません。最初にノートブックをクラスターからデタッチし、再度アタッチする必要があります。

注意
Databricksランタイム7.2以降では、Databricksはすべてのワークスペースライブラリを、クラスターにインストールされた順番で処理します。Databricksランタイム7.1以前では、MavenとCRANライブラリはクラスターにインストールされた順番で処理されます。

ライブラリ間に依存関係がある場合には、クラスターにインストールする順番に注意を払う必要があるかもしれません。

すでにワークスペースに存在するライブラリをインストールするには、クラスターUIあるいはライブラリUIからスタートすることができます。

サイドバーのComputeをクリックします。
クラスター名をクリックします。
Librariesタブをクリックします。
Install Newをクリックします。
Library SourceボタンリストでWorkspaceを選択します。
ワークスペースライブラリを選択します。
Installをクリックします。
すべてのクラスターにライブラリがインストールされるように設定するには、以下を実施します。
1. ライブラリをクリックします。
2. Install automatically on all clustersチェックボックスを選択します。
3. Confirmをクリックします。

ライブラリを格納しているフォルダに移動します。
ライブラリ名をクリックします。
以下のいずれかを実施します。
- すべてのクラスターにライブラリがインストールされるようにするには、Install automatically on all clustersチェックボックスを選択し、Confirmをクリックします。
重要！
このオプションはDatabricksランタイム7.0以降が動作しているクラスターにはライブラリをインストールしません。
- ライブラリをインストールしたいクラスターの隣のチェックボックスを選択し、Installをクリックします。

クラスターにライブラリがインストールされます。

ワークスペースライブラリとして利用できるようにせずに、特定のクラスターにライブラリをインストールすることができます。

クラスターにライブラリをインストールするには以下を実施します。

お使いのライブラリがカスタム設定を必要とする場合、ワークスペースライブラリやクラスターライブラリのインタフェースを用いてライブラリをインストールできないかもしれません。代わりに、initスクリプトを用いてライブラリをインストールすることができます。

以下に、クラスター作成時にDatabricksランタイムクラスターにPythonライブラリをインストールするためにpipを使用するinitスクリプトのサンプルを示します。

Bash

#!/bin/bash

/databricks/python/bin/pip install astropy

注意
クラスターからライブラリをアンインストールした際、クラスターを再起動した時にのみライブラリは削除されます。クラスターを再起動するまでは、アンインストールされたライブラリのステータスはUninstall pending restartと表示されます。

ライブラリをアンインストールするには、クラスターUIあるいはライブラリUIからスタートすることができます。

サイドバーのComputeをクリックします。
クラスター名をクリックします。
Librariesタブをクリックします。
アンインストールしたいライブラリの隣のチェックボックスを選択し、Uninstall、Confirmをクリックします。ステータスがUninstall pending restartに変化します。

ライブラリを格納しているフォルダに移動します。
ライブラリ名をクリックします。
アンインストールしたいライブラリがインストールされているクラスターの隣のチェックボックスを選択し、Uninstall、Confirmをクリックします。ステータスがUninstall pending restartに変化します。
クラスター詳細ページに移動するにはクラスター名をクリックします。

ライブラリをアンインストールするには、RestartとConfirmをクリックします。ライブラリがクラスターのLibrariesタブから削除されます。

サイドバーのComputeをクリックします。
クラスター名をクリックします。
Librariesタブをクリックします。それぞれのライブラリごとに、タブには名前、バージョン、インストールのステータス、そしてアップロードされた場合にはソースファイルが表示されます。

クラスターにインストールされているライブラリをアップデートするには、古いバージョンのライブラリをアンインストールし、新しいバージョンをインストールします。