Databricks Clusters UI changes | Databricks on AWS [2022/8/19時点]の翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
新たなクラスターUIが導入され、以下の点が変更されました。
- これまではAdvanced options内にあったSecurity modeドロップダウンが、Access modeで置き換えられました。
- Cluster Modeドロップダウンメニューは2つの選択肢(Multi nodeとSingle node)のラジオボタンで置き換えられました。
- 今後はスタンダードクラスターとハイコンカレンシークラスターには違いがなくなります。アクセスモードがクラスターにおけるアイソレーションを決定し、すべての共有クラスターでは複数ユーザーによるクエリーを最適化します。
- Advanced optionsにおいて、アクセスモードがSingle userかSharedの場合にクレディンシャルパススルーのチェックボックスが利用できます。クレディンシャルパススルーのチェックボックスを選択すると、クラスターではパススルーがサポートされ、Unity Catalogへのアクセスは無効化されます。
Previewオプションで新規のUIのオンオフを切り替えることができます。
これらの変更によって後方互換性はどうなりますか？
後方互換性を維持するために、Previewを選択し、New UI is enabledをオフにすることができます。
すべての既存のインタラクティブクラスターやジョブクラスターの定義はそのまま動作し続けます。既存のクラスターを起動、再起動した際、既存のジョブ実行が起動された際には挙動は変わりません。
注意
レガシーなクラスター定義はCustomアクセスモードとしてクラスターUIに表示されます。これは、後方互換性のためだけのものであり、ドロップダウンリストから選択することはできません。
Unity Catalogが有効化されていない(すなわちUnity Catalogのメタストアが割り当てられていない)ワークスペースでは、新たなクラスターを作成する際に、オリジナルのクラスター設定から新規のアクセスモードに移行するためには以下の表を使ってください。
| オリジナルのクラスター設定 | アクセスモード |
|---|---|
| スタンダード | No isolation shared |
| スタンダード + クレディンシャルパススルーのチェックボックスがチェックされている | Single user + クレディンシャルパススルーのチェックボックスをチェック |
| ハイコンカレンシー(HC) | No isolation shared |
| HC + テーブルACLのチェックボックスがチェックされている | Shared |
| HC + クレディンシャルパススルーのチェックボックスがチェックされている | Shared + クレディンシャルパススルーのチェックボックスをチェック |
Unity Catalogが有効化されているワークスペースにおいては以下の表を使ってください。
| オリジナルのクラスター設定 | アクセスモード |
|---|---|
| None | No isolation shared |
| Single user | Single user |
| User isolation | Shared + Runtime 10.3以降 |
| Table ACL only (Legacy) | Shared + Runtime 9.1以前 |
| Passthrough only (Legacy) | Shared + クレディンシャルパススルーのチェックボックスをチェック |
制限
重要！
プレビュー期間中、アクセスモードはUIからのみ利用できます。APIはサポートされていません。
新規クラスターを作成する際、以下のセキュリティ関連のSpark設定は新UIでは使用することができません。クラスター設定をファインチューンしたい場合(例えば、PrivaceraやImmutaとのインテグレーションなど)には、これらの設定行うt前にカスタムクラスターポリシーを定義することができます。サポートについてはDatabricks担当にお問合せください。
spark.databricks.repl.allowedLanguagesspark.databricks.acl.dfAclsEnabledspark.databricks.passthrough.enabledspark.databricks.pyspark.enableProcessIsolation