【Databricks】複数のAWSアカウントにワークスペースを割り当てる

背景・目的

以前、こちらの記事では、一つのAWSアカウントに2つのWorkspaceを割り当てました。
これを複数のAWSアカウントにワークスペースを割り当てた時のメモになります。

実践

下記のような構成にします。

ワークスペースの作成

IAMロールの作成

下記の赤枠部分を作成します。

こちらの手順を参考に、IAMロールの作成からIAMポリシーの作成までを2つのアカウントに対して行います。

Credentialの作成

下記の赤枠部分を作成します。

こちらの手順を参考に、DatabricksにCredentialを作成します。

ワークスペース用S3ストレージの作成

下記の赤枠部分を作成します。

こちらの手順を参考に、DatabricksのStorage Configurationを作成します。

Databricksでワークスペースを作成

下記の赤枠部分を作成します。

こちらの手順を参考に、ワークスペースを作成します。

メタストアを作成

S3バケットの作成

下記の赤枠部分を作成します。

こちらの手順を参考に、S3バケットを作成します。

IAMロールの作成

下記の赤枠部分を作成します。

こちらの手順を参考に、IAMロールを作成します。

メタストアの作成

下記の赤枠部分を作成します。

こちらの手順を参考に、メタストアを作成します。

Unity Catalogの有効化

1. 作成したワークスペースを選択し、Unity Catalogを有効化し、上記で作成したメタストアを指定します。

考察

今回は、複数のAWSアカウントごとにワークスペースを割り当ててみました。大きい規模になってくるとこのような構成になるかと思います。（Metastore用のアカウントも別になるかもしれません。）

参考