Databricksのパーソナルコンピュートを使ってみる

こちらで説明されているPersonal Computeの機能をウォークスルーした内容となっています。

パーソナルコンピュート(Personal Compute)とは

こちらで説明している様に実態はクラスターポリシーです。ちょっとした作業を行うための仮想マシンを簡単に作成できる様になります。

パーソナルコンピュートは、すべてのDatabricksワークスペースで利用できるDatabricks管理のデフォルトクラスターポリシーです。このポリシーを用いることで、ユーザーは個人で利用するためのシングルマシンの計算資源を簡単に作成することができ、すぐにワークロード実行を開始し、計算資源管理のオーバーヘッドを最小化することができます。

パーソナルコンピュートを使う

こちらで説明されている様に、パーソナルコンピュートのクラスターポリシー自体はAWSやAzureロールアウトされており、Databricksワークスペースで確認することができます。

2022年10月10日の週以降、パーソナルコンピュートのデフォルトポリシーが、AWSにおけるすべてのプレミアム、エンタープライズプランのワークスペース、Azureにおけるすべてのプレミアムプランのワークスペースにロールアウトされます。AWSにおいては、パーソナルコンピュートへのアカウントレベルのアクセス設定が、デフォルト設定ONで同時にリリースされ、この設定値は2022/11/16以降に効果を発揮します。向こう数ヶ月でGCPでもパーソナルコンピュートを提供できることを楽しみにしており、同じ時間枠ですべてのクラウドにおけるアカウントレベルのアクセスコントロールのスイッチを提供する予定です。

アカウントコンソール上ではパーソナルコンピュートはEnable for allに設定されています。

言い換えると2022/11/16より前は、アカウントコンソール上の設定がEnable for allになっていても、明示的にポリシーへのアクセス権を設定しない限りパーソナルコンピュートは利用できないことになります。それ以降は誰でもアクセスできる様になるので、運用上それが好ましくない場合には、後述の手順でDelegateに設定してください。

アカウントコンソールの設定

Databricksユーザーがパーソナルコンピュートのポリシーにどのようにアクセスできるのかは、アカウントコンソールで制御することができます。

1. Databricksアカウント管理者としてアカウントコンソールにログインし、Settings > Feature enablementに移動します。
   
2. Personal Computeのトグルを切り替えることでアクセス方法を切り替えることができます。
   • Enable for all: お使いのDatabricksアカウント配下のすべてのワークスペースでパーソナルコンピュートのポリシーを利用できる様にします。
   • Delegate: パーソナルコンピュートのポリシーへのアクセス権の許可・剥奪をワークスペース管理者に委ねます。ワークスペース管理者は明示的にアクセスを許可するユーザー・グループをパーソナルコンピュートのポリシーにアクセスできる様に設定する必要があります。

注意
お使いのDatabricksアカウントでパーソナルコンピュートのニーズがない場合には、アカウントコンソールの設定でPersonal ComputeをDelegateに設定してください。こうすると、ワークスペース上のPersonal Computeクラスターポリシーによって制御されるので、明示的にクラスターポリシーにアクセス権を付与しない限り、パーソナルコンピュートは利用できなくなります。

ワークスペースの設定

上述した通りパーソナルコンピュートの実態はクラスターポリシーなので、パーソナルコンピュートのデフォルト設定を変更したい場合にはクラスターポリシーを編集することができます。

注意
デフォルトではパーソナルコンピュートのクラスターの自動停止はオフになっています。これを防ぐには、以下で説明する様にクラスターポリシーをカスタマイズして自動停止を強制するアプローチを取ることをお勧めします。ただし、自動停止を強制するかどうかはユーザーの生産性を考慮した上で決定してください。

1. ワークスペース管理者としてDatabricksワークスペースにログインし、コンピュート > Policiesにアクセスします。
2. ポリシーPersonal Computeをクリックします。
   
3. ポリシー定義が表示されます。編集をクリックします。
   
4. 0件のオーバーライドの右にある編集をクリックします。
   
5. ポリシーを上書き(オーバーライド)するダイアログが表示されます。
   
6. 上書きするポリシーを記述してOKをクリックしてダイアログを閉じ、更新をクリックします。
   

以下に更新するポリシーの例を示します。

自動停止の時間のデフォルトを60分にし、最大120分まで設定可能にする。自動停止のオンオフは可能。

JSON

{
    "autotermination_minutes": {
      "type": "range",
      "maxValue": 120,
      "defaultValue": 60
  }
}

自動停止の時間を120分固定にする。自動停止のオンオフは可能。

JSON

{
    "autotermination_minutes": {
      "type": "fixed",
      "value": 120
  }
}

自動停止の時間を120分固定にする。設定ウィジェットを非表示にしてオンオフの切り替えを不可に。

注意
このポリシーを適用する際には、自動停止時間が設定されていることをユーザーに連絡してください。

JSON

{
    "autotermination_minutes": {
      "type": "fixed",
      "value": 120,
      "hidden": true
  }
}

上のポリシーが適用されると、ユーザーは自動停止時間の設定を変更できなくなります。

パーソナルコンピュートの起動

1. コンピュートページに移動すると、左上にクラスターポリシーを選択してクラスターを作成するショートカットボタンが表示されます。

   注意
   ポリシーが不活性状態になっている場合には、当該ポリシーへのアクセス権がありません。ワークスペース管理者、アカウント管理者にコンタクトしてください。

   

2. パーソナルコンピュートのポリシーが適用された状態でクラスター作成画面が表示されるので、クラスターを作成をクリックします。
   

3. ワークスペースに移動し、新規ノートブックを作成する際に上で作成したパーソナルコンピュートクラスターを選択します。既存のノートブックを開いてアタッチする形でも構いません。
   

4. これでパーソナルコンピュートを使った作業が可能となります！
   

適切なポリシーを適用することで、ユーザーの生産性を向上できるパーソナルコンピュートを是非活用してください！

Databricks 無料トライアル

Databricks 無料トライアル