Databricks環境をCloudFormationを使って構築する

はじめに

GUIでポチポチつくるのがとてもめんどいので、今回はCloudformationを使って構築します。
Templateはすでに公開されているのものがあるので、サクッと作りたいと思います。

手動でやる場合の手順はここにありました。

※Databricksのアカウントコンソールはすでに作っている前提で話します。

AWSのQuick startページから、始める感じです。

How to Deploy tabにある

をクリックすると、Cloudformationの画面に飛ぶので、そこまで行きます。

Create Stackの画面に行くので、そのままNextで進みたいと思います。
templateについては、S3にあるtemplateを自動で設定してくれています。

次はdetailの入力です。入力項目が多いので、少しづつ入力していきます。

項目	入力する値
Databricks account ID	Databricks のAccountコンソールから取得できる IDを入力 (consoleの左端の下にあります）
Workspace account email	Databricks Accountコンソールに入る時にのメールアドレス
Workspace account password	Databricks Accountコンソールに入る時にのパスワード
Pricing tier of the workspace	Databricksで利用するTierを選択
Workspace deployment name	workspaceで使うドメイン名
AWS Region of the Databricks workspace	AWSで展開するregion名
HIPAA tier account	HIPPA対応するかどうか

項目	入力する値
IAM role tag	任意のtag名
Cross-account IAM role name	cross account iamを使って、リソースを作成するので、それのIAM role名
Root S3 bucket name	dbfs root bucketのbucket名
(Optional) Customer managed VPC configuration (requires the premium tier)	Customer Managed VPCを使う場合は入力 (今回はDatabricks側で勝手にVPCを作ってもらうパターンで生成
Private subnet IDs	Customer Managed VPCを使う場合のみVPC IDを入力
Security group IDs	Customer Managed VPCを使う場合のみSecurity Group IDを入力
(Optional) Customer managed key configuration for notebooks (requires the enterprise tier)	Customer Managed Keyを使う倍に、arnを入力 (今回は入れない)
Alias for the customer managed AWS KMS key	KMSのalias(今回は入れない)
Use case for which to use the key	KMSの暗号化の範囲設定です(今回は入れない)
Encrypt cluster EBS volumes	EBS volkumeの暗号化 (今回は入れない)

これらを入力したらNextです。

ここは特に設定せず、あとはnextしてCreateするだけです。

Createしたら、Workspaceが作成されているので、あとはログインしてDatabricks使うだけです。
簡単ですよね。

上記のtemplateはinstance profileを生成しないので、instance profileを使ってデータソースのコントロールをしたい場合は手動で設定する必要があります。