はじめに

Azure 内部からインターネットにアクセスするときに Azure Firewall を経由することでセキュリティを強化できます。今回は Azure Databricks と Azure Firewall を組み合わせるときのデータプレーンからコントロールプレーンへのアクセス許可設定について説明します。

Azure Databricks のアーキテクチャーについて

Azure Databricks ではデータプレーンとコントロールプレーンが存在します。コードを実行するのはデータプレーンの VM となります。この VM は VNet Injection によって独自の VNet 上にデプロイできます。しかしながら、コントロールプレーンのデプロイ場所はユーザーは設定できません。Azure Firewall を導入している場合は、データプレーンからコントロールプレーンへの接続方式を考える必要があります。

Azure Firewall 設定

Azure Firewall を導入しているときの、Azure Databricks のデータプレーンからコントロールプレーンにアクセスする際の設定について説明していきます。なお、Secure Cluster Connectivity (SCC) が有効であることを前提としています。

1. FQDN / IP 許可

Azure Firewall でこのページに記載された FQDN と IP を許可します。

Japan East リージョンの場合は以下となります。

名前	ソースの種類	ソース	プロトコル	宛先ポート	宛先の種類	宛先
Webapp	IP アドレス	`10.0.0.0/16`	TCP	443	IP アドレス	`52.246.160.72/32`
Extended Infrastructure	IP アドレス	`10.0.0.0/16`	TCP	443	IP アドレス	`20.78.226.176/28`
SCC Relay	IP アドレス	`10.0.0.0/16`	TCP	443	FQDN	`tunnel.japaneast.azuredatabricks.net`
DBFS Root	IP アドレス	`10.0.0.0/16`	TCP	443	FQDN	`dbstorage*****.blob.core.windows.net`
Metastore	IP アドレス	`10.0.0.0/16`	TCP	3306	FQDN	`consolidated-japaneast-prod-metastore.mysql.database.azure.com`
Artifact Blob storage primary	IP アドレス	`10.0.0.0/16`	TCP	443	FQDN	`dbartifactsprodjapaneast.blob.core.windows.net`
Artifact Blob storage secondary	IP アドレス	`10.0.0.0/16`	TCP	443	FQDN	`dbartifactsprodjapanwest.blob.core.windows.net`
Log Blob storage	IP アドレス	`10.0.0.0/16`	TCP	443	FQDN	`dblogprodjapaneast.blob.core.windows.net`
Event Hub endpoint	IP アドレス	`10.0.0.0/16`	TCP	9093	FQDN	`prod-japaneast-observabilityeventhubs.servicebus.windows.net`

2. サービスタグ許可

Azure Firewall でサービスタグを許可します。設定項目は少ないですが、FQDN や IP を許可する場合より許可範囲が大きくなります。

許可するサービスタグは以下となります。

名前	ソースの種類	ソース	プロトコル	宛先ポート	宛先の種類	宛先
Databricks	IP アドレス	`10.0.0.0/16`	TCP	443	サービスタグ	`Azure Databricks`
Storage	IP アドレス	`10.0.0.0/16`	TCP	443	サービスタグ	`Storage`
Event Hub	IP アドレス	`10.0.0.0/16`	TCP	9093	サービスタグ	`EventHub`
Sql	IP アドレス	`10.0.0.0/16`	TCP	3306	サービスタグ	`Sql`

SCC 設定に関する注意点

Azure Firewall を経由してコントロールプレーンにアクセスする場合は SCC 設定を有効 (パブリック IP 無効) にすべきです。
SCC 設定が無効 (パブリック IP 有効) の場合、クラスター作成時にコントロールプレーンからデータプレーンへのパブリックアクセスが発生し、戻り通信が Azure Firewall によってブロックされます。

おわりに

Azure Databricks と Azure Firewall を組み合わせるときのデータプレーンからコントロールプレーンへのアクセス許可設定について説明しました。User Defined Route でコントロールプレーンへのルーティングを設定すれば、Azure Firewall を経由する必要もなくなりますが、各 FQDN のグローバル IP を確認しなくてはならず、IP 変更のリスクを考えると長期運用には向いていません。