Cluster libraries | Databricks on AWS [2021/7/16時点]の翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
クラスターライブラリは、クラスターで稼働しているすべてのノートブックから利用することができます。PyPIやMavenのような公開リポジトリから直接クラスターライブラリをインストールしたり、事前にインストールされたワークスペースライブラリからインストールすることができます。
クラスターにライブラリをインストールする
クラスターにライブラリをインストールするには主に2つの方法があります。
- すでにワークスペースにアップロードされているワークスペースライブラリをインストールする。
- 特定のクラスターにのみ使用するライブラリをインストールする。
さらに、ライブラリにカスタムの設定が必要な場合、上述の方法を用いてライブラリをインストールすることができないかもしれません。代わりに、クラスター作成時にinitスクリプトを用いてライブラリをインストールすることができます。
ワークスペースライブラリ
注意
Databricksランタイム7.2以降では、Databricksはすべてのワークスペースライブラリを、クラスターにインストールされた順番で処理します。Databricksランタイム7.1以前では、MavenとCRANライブラリはクラスターにインストールされた順番で処理されます。
ライブラリ間に依存関係がある場合には、クラスターにインストールする順番に注意を払う必要があるかもしれません。
すでにワークスペースに存在するライブラリをインストールするには、クラスターUIあるいはライブラリUIからスタートすることができます。
クラスター
- サイドバーの
Computeをクリックします。 - クラスター名をクリックします。
- Librariesタブをクリックします。
- Install Newをクリックします。
- Library SourceボタンリストでWorkspaceを選択します。
- ワークスペースライブラリを選択します。
- Installをクリックします。
- すべてのクラスターにライブラリがインストールされるように設定するには、以下を実施します。
- ライブラリをクリックします。
- Install automatically on all clustersチェックボックスを選択します。
- Confirmをクリックします。
ライブラリ
-
ライブラリを格納しているフォルダに移動します。
-
ライブラリ名をクリックします。
-
以下のいずれかを実施します。
- すべてのクラスターにライブラリがインストールされるようにするには、Install automatically on all clustersチェックボックスを選択し、Confirmをクリックします。
重要！
このオプションはDatabricksランタイム7.0以降が動作しているクラスターにはライブラリをインストールしません。- ライブラリをインストールしたいクラスターの隣のチェックボックスを選択し、Installをクリックします。
クラスターにライブラリがインストールされます。
クラスターにインストールされているライブラリ
ワークスペースライブラリとして利用できるようにせずに、特定のクラスターにライブラリをインストールすることができます。
クラスターにライブラリをインストールするには以下を実施します。
- サイドバーのComputeをクリックします。
- クラスター名をクリックします。
- Librariesタブをクリックします。
- Install Newをクリックします。
- ワークスペースライブラリの作成手順のどれかを実行します。Createをクリックすると、クラスターにライブラリがインストールされます。
initスクリプト
お使いのライブラリがカスタム設定を必要とする場合、ワークスペースライブラリやクラスターライブラリのインタフェースを用いてライブラリをインストールできないかもしれません。代わりに、initスクリプトを用いてライブラリをインストールすることができます。
以下に、クラスター作成時にDatabricksランタイムクラスターにPythonライブラリをインストールするためにpipを使用するinitスクリプトのサンプルを示します。
#!/bin/bash
/databricks/python/bin/pip install astropy
クラスターからライブラリをアンインストールする
注意
クラスターからライブラリをアンインストールした際、クラスターを再起動した時にのみライブラリは削除されます。クラスターを再起動するまでは、アンインストールされたライブラリのステータスはUninstall pending restartと表示されます。
ライブラリをアンインストールするには、クラスターUIあるいはライブラリUIからスタートすることができます。
クラスター
- サイドバーのComputeをクリックします。
- クラスター名をクリックします。
- Librariesタブをクリックします。
- アンインストールしたいライブラリの隣のチェックボックスを選択し、Uninstall、Confirmをクリックします。ステータスがUninstall pending restartに変化します。
ライブラリ
- ライブラリを格納しているフォルダに移動します。
- ライブラリ名をクリックします。
- アンインストールしたいライブラリがインストールされているクラスターの隣のチェックボックスを選択し、Uninstall、Confirmをクリックします。ステータスがUninstall pending restartに変化します。
- クラスター詳細ページに移動するにはクラスター名をクリックします。
ライブラリをアンインストールするには、RestartとConfirmをクリックします。ライブラリがクラスターのLibrariesタブから削除されます。
クラスターにインストールされているライブラリを参照する
- サイドバーのComputeをクリックします。
- クラスター名をクリックします。
- Librariesタブをクリックします。それぞれのライブラリごとに、タブには名前、バージョン、インストールのステータス、そしてアップロードされた場合にはソースファイルが表示されます。
クラスターにインストールされているライブラリをアップデートする
クラスターにインストールされているライブラリをアップデートするには、古いバージョンのライブラリをアンインストールし、新しいバージョンをインストールします。