DatabricksクラスターUIの変更

Databricks Clusters UI changes | Databricks on AWS [2022/8/19時点]の翻訳です。

本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。

新たなクラスターUIが導入され、以下の点が変更されました。

• これまではAdvanced options内にあったSecurity modeドロップダウンが、Access modeで置き換えられました。
• Cluster Modeドロップダウンメニューは2つの選択肢(Multi nodeとSingle node)のラジオボタンで置き換えられました。
• 今後はスタンダードクラスターとハイコンカレンシークラスターには違いがなくなります。アクセスモードがクラスターにおけるアイソレーションを決定し、すべての共有クラスターでは複数ユーザーによるクエリーを最適化します。
• Advanced optionsにおいて、アクセスモードがSingle userかSharedの場合にクレディンシャルパススルーのチェックボックスが利用できます。クレディンシャルパススルーのチェックボックスを選択すると、クラスターではパススルーがサポートされ、Unity Catalogへのアクセスは無効化されます。

Previewオプションで新規のUIのオンオフを切り替えることができます。

これらの変更によって後方互換性はどうなりますか？

後方互換性を維持するために、Previewを選択し、New UI is enabledをオフにすることができます。

すべての既存のインタラクティブクラスターやジョブクラスターの定義はそのまま動作し続けます。既存のクラスターを起動、再起動した際、既存のジョブ実行が起動された際には挙動は変わりません。

注意
レガシーなクラスター定義はCustomアクセスモードとしてクラスターUIに表示されます。これは、後方互換性のためだけのものであり、ドロップダウンリストから選択することはできません。

Unity Catalogが有効化されていない(すなわちUnity Catalogのメタストアが割り当てられていない)ワークスペースでは、新たなクラスターを作成する際に、オリジナルのクラスター設定から新規のアクセスモードに移行するためには以下の表を使ってください。

オリジナルのクラスター設定	アクセスモード
スタンダード	No isolation shared
スタンダード + クレディンシャルパススルーのチェックボックスがチェックされている	Single user + クレディンシャルパススルーのチェックボックスをチェック
ハイコンカレンシー(HC)	No isolation shared
HC + テーブルACLのチェックボックスがチェックされている	Shared
HC + クレディンシャルパススルーのチェックボックスがチェックされている	Shared + クレディンシャルパススルーのチェックボックスをチェック

Unity Catalogが有効化されているワークスペースにおいては以下の表を使ってください。

オリジナルのクラスター設定	アクセスモード
None	No isolation shared
Single user	Single user
User isolation	Shared + Runtime 10.3以降
Table ACL only (Legacy)	Shared + Runtime 9.1以前
Passthrough only (Legacy)	Shared + クレディンシャルパススルーのチェックボックスをチェック

制限

重要！
プレビュー期間中、アクセスモードはUIからのみ利用できます。APIはサポートされていません。

新規クラスターを作成する際、以下のセキュリティ関連のSpark設定は新UIでは使用することができません。クラスター設定をファインチューンしたい場合(例えば、PrivaceraやImmutaとのインテグレーションなど)には、これらの設定行うt前にカスタムクラスターポリシーを定義することができます。サポートについてはDatabricks担当にお問合せください。

• spark.databricks.repl.allowedLanguages
• spark.databricks.acl.dfAclsEnabled
• spark.databricks.passthrough.enabled
• spark.databricks.pyspark.enableProcessIsolation

Databricks 無料トライアル

Databricks 無料トライアル