こちらのアップデート見逃していました。
新たなコンピュートポリシーフォーム (Public Preview)
新たなコンピュートポリシーフォームでは、ポリシー定義の設定の助けとなるUI要素を使用しており、UIでコンピュートポリシーの記述をよりシンプルにします。
新たなフォームには以下の変更が含まれています:
- 新たな定義ドロップダウンメニューによって、ポリシー構文を参照することなしにルールを定義することができます。
- ユーザー当たりの最大コンピュートリソース、時間あたりの最大DBU、クラスタータイプの設定は高度なオプションのセクションに移動しました。
- タグ付けの定義は個別の分離されたセクションに移動しました。
- ポリシーの権限設定はポリシーフォームの外に移動し、ポリシー概要ページの権限モーダルを設定するようになりました。
これは嬉しいです。以前はひいひい言いながらJSON書いていました。
以前クラスターポリシーと読んでいたものがコンピュートポリシーとなっています。
以前のUIはこちらです。名前をつけたらあとはJSON書くのみという潔い仕様。
コンピュートポリシーとは
Databricksにおける計算資源を総称してコンピュートと呼びます。コンピュートのスペック(ノード数、ランタイムバージョン、自動停止時間など)はワークロードに合わせて柔軟に設定することが可能です。柔軟性は利用者にとってはメリットとなりますが、管理者の観点では野放図に大きなコンピュートが作成、実行されることで膨大なコストが発生することは避けたいと考えます。
コンピュートポリシーを作成することで、利用者が指定できるコンピュートのスペックを制御することができます。
準備
プレビューでNew compute policy formをオンにします。
ウォークスルー
コンピュートポリシーの作成
コンピュートのポリシータブにアクセスします。ポリシーを作成をクリックしてフォームにアクセスします。
UIメインの画面が表示されます。
なお、画面上部の新しいフォームのトグルで前の画面に戻すこともできます。
高度なオプションでは、ユーザー当たりの最大コンピュートリソース、時間あたりの最大DBU、クラスタータイプを設定できます。
ファミリーを選択すると既存のポリシーをベースに新たなポリシーを作成することができます。
ファミリーでパーソナルコンピュートを選択すると、そのポリシーの規定値を変更して新たにポリシーを作成することができます。
ここではspark_version(Databricksランタイムバージョン)を非表示にします。
作成すると、概要ページに移動します。ポリシーが適用されているコンピュートも確認できるようになっていますね。
コンピュートの作成
このポリシーを用いてコンピュートを作成してみます。通常のパーソナルコンピュートではDatabricksランタイムを選択できます。
作成したコンピュートポリシーを選択すると、Databricksランタイムの選択ボックス自身が非表示になっています。
作成したコンピュートはコンピュートポリシーからも確認できます。
