More than 1 year has passed since last update.

Databricksのクラスターライブラリ

Posted at 2022-03-09

本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。

クラスターライブラリは、クラスターで実行される全てのノートブックで使用することができます。PyPIやMavenのように公開されているリポジトリ、事前にインストール済みのワークスペースライブラリ、initスクリプトを用いてクラスターライブラリをインストールすることができます。

クラスターにライブラリをインストールする

クラスターにライブラリをインストールするには主に2つの方法があります。

さらに、お使いのライブラリがカスタム設定を必要とする場合には、上述した方法でライブラリをインストールすることができないかもしれません。その場合には、クラスター作成時に実行されるinitスクリプトを用いてライブラリをインストールすることができます。

注意
クラスターにライブラリをインストールする際、当該クラスターにすでにアタッチされているノートブックで即座に新規ライブラリを参照できません。まずクラスターからノートブックをデタッチし、再度クラスターにノートブックを再度アタッチしてください。

注意
Databricksランタイム7.2以降では、クラスターにインストールされた順序で、Databricksは全てのワークスペースのライブラリを処理します。Databricksランタイム7.1以前では、MavenとCRANのライブラリは、クラスターにインストールされた順序で処理しされます。

ライブラリ間に依存関係がある場合には、クラスターにライブラリをインストールする順番に注意してください。

ワークスペースにすでに存在しているライブラリをインストールするには、クラスターUIかライブラリUIからスタートすることができます。

サイドバーのComputeをクリックします。
クラスター名をクリックします。
Librariesタブをクリックします。
Install Newをクリックします。
Library SourceのボタンリストでWorkspaceを選択します。
ワークスペースライブラリを選択します。
Installをクリックします。
全てのクラスターにライブラリがインストールされるように設定するには、以下の設定を行います。
1. ライブラリをクリックします。
2. Install automatically on all clustersチェックボックスを選択します。
3. Confirmをクリックします。

全てのクラスターにライブラリがインストールされるように設定するには、Install automatically on all clustersチェックボックスを選択し、Confirmをクリックします。

重要！
このオプションはDatabricksランタイム7.0以降が動作しているクラスターにはインストールをしません。

ライブラリがクラスターにインストールされます。

ワークスペースライブラリにすることなしに、特定のクラスターにライブラリをインストールすることができます。

ライブラリでカスタム設定が必要である場合には、ワークスペースライブラリ、クラスターライブラリインタフェースでライブラリをインストールできない場合があります。この場合には、initスクリプトを使ってインストールすることができます。

クラスターの初期化の際に、DatabricksランタイムクラスターでPythonライブラリのインストールにpiを使用するiniスクリプトの例を示します。

Bash

#!/bin/bash

/databricks/python/bin/pip install astropy

注意
クラスターからライブラリをアンインストールする際、クラスターを再起動して初めてライブラリが削除されます。クラスターを再起動するまでは、アンインストールされたライブラリのステータスは、Uninstall pending restartとなります。

クラスター、ライブラリのUIからライブラリのアンインストールをスタートすることができます。

サイドバーのComputeをクリックします。
クラスター名をクリックします。
Librariesタブをクリックします。
クラスターの隣にあるチェックボックスで、アンインストールしたいライブラリを選択し、Uninstallをクリックし、Confirmをクリックします。ステータスがUninstall pending restartに変化します。

ライブラリを格納しているフォルダに移動します。
ライブラリ名をクリックします。
クラスターの隣にあるチェックボックスで、アンインストールしたいライブラリを選択し、Uninstallをクリックし、Confirmをクリックします。ステータスがUninstall pending restartに変化します。
クラスター詳細ページに移動するためにクラスター名をクリックします。

ライブラリをアンインストールするためにRestartとConfirmをクリックします。ライブラリはクラスターのLibrariesタブから削除されます。

サイドバーのComputeをクリックします。
クラスター名をクリックします。
Librariesタブをクリックします。それぞれのライブラリに対して、名前とバージョン、タイプ、インストールのステータス、そして、アップロードされている場合にはソースファイルが表示されます。

クラスターライブラリをアップデートするには、古いバージョンのライブラリをアンインストールし、新規バージョンをインストールします。