AWSにおけるDatabricksデプロイメントについてまとめてみた

Last updated at 2023-05-24Posted at 2022-08-24

主要クラウドサービス(AWS、Azure、GCP)で動作するDatabricksですが、AWSでデプロイする際には自分でVPCの構成を決めたり、PrivateLink構成を選択することができます(他のCSPでも順次対応しています)。

その分、「どの構成にしたらいいのか？」と迷うこともしばしばです。これまでに少なくとも10以上のDatabricksワークスペースをデプロイしてきた経験を踏まえて、記事にまとめてみました。

AWSにおけるDatabricksデプロイメントの方法

方法としては以下の2つがあります。

設定自体を自動化するツールには以下の2つがあります。サインアップした際のデフォルトのデプロイメント手段はAWS QuickStartになっています。

デプロイメントの形態には大きく以下の2つがあります。

どのデプロイメント形態にするのかを決定するフローチャートです。以下で述べている顧客管理VPCに関しては、Databricksにおける顧客管理VPCをご覧ください。

デプロイメント形態にはそれぞれPros & Consがあります。センシティブなデータを取り扱わないPOCの場合は公衆ネットワークを使用する構成、本番環境ではPrivateLink構成を検討することをお勧めします。

デプロイメント形態	Pros	Cons
AWS Private Networkを用いたデプロイ	すぐにデプロイできます。POCならこちらがお勧めです。	コントロールプレーン、データプレーン間の通信ではAWS Private Networkを経由することになります。ブラウザからDatabricksへの接続は公衆回線経由となります。
PrivateLinkを用いたデプロイ	バックエンドPrivateLink：コントロールプレーン、データプレーン間はAWSのバックボーンネットワークと使用するのでAWS Private Networkを経由しません。本番環境はこちらをお勧めするケースが多いです。フロントエンドPrivateLink：クライアントからの接続でも公衆回線を経由したくないケースではお勧めしています。こちらも本番向け。バックエンドPrivateLinkとセットでかつロックダウン構成にするのが定石です。	Built-inのHiveメタストアは動かないので、Glueを使うかUnity Catalgを使います。クラスターからはインターネットに接続できないので、pipなどは追加の設定をしない限り使用できません。フロントエンドPrivateLink構成を取る際にはDNS設定が必要になるので、SIパートナーなどのサポートを要請することをお勧めします。

PrivateLink構成のワークスペースをデプロイするまでには様々なオブジェクトを作成します。

AWSマネジメントコンソールで作成

Databricks Account Consoleで作成

AWSのオブジェクトとDatabricksのオブジェクトには以下の関係性があります。

これらの設定手順に関しては、以下の手順書を参照ください。