1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

DatabricksAdvent Calendar 2024

Day 12

Databricksサーバレスのエグレスコントロールによるサーバレスネットワーク接続の管理

Posted at

こちらのリリースです。

サーバレスエグレスコントロールによるサーバレスの外向きネットワーク接続の管理

サーバレスエグレスコントロールによって、指定されたインターネットの接続先に対する外向きアクセスを制限することができます。サーバレス エグレス コントロールとはをご覧ください。

この機能は、こちらの別のリリースとも関係しています。

ネットワークアクセスイベントシステムテーブルが利用可能に(パブリックプレビュー)

Databricksシステムテーブルにネットワークアクセステーブルが追加されました。このテーブルは、あなたのアカウントでインターネットへのアクセスが拒否された際のイベントを記録します。このテーブルにアクセスするには、管理者がaccessシステムスキーマへのアクセスを有効化する必要があります。ネットワークアクセスイベント システムテーブル リファレンスをご覧ください。

つまり、エグレスコントロールによってアクセスが拒否された際に、そのイベントがネットワークアクセスイベントシステムテーブルに記録されることになります。これによって、コントロールが適切に動作しているかどうかを確認、監視できるようになります。

カタログにアクセスすると、system.access.outbound_networkが表示されます。アクセスできない場合には、有効化されているか、適切な権限があるかを確認してください。

Screenshot 2024-12-12 at 15.18.01.png

ネットワークポリシーによるサーバレスコンピュートのインターネット接続の制御

ここでは、ノートブック用のサーバレスで確認します。この時点ではインターネットにアクセスできます。

Screenshot 2024-12-12 at 15.19.58.png

それでは、ネットワークポリシーでエグレス接続を制御してみます。アカウントコンソールにログインし、クラウドリソース > ネットワークにアクセスし、ネットワークポリシーを確認します。フルアクセスになっています。

Screenshot 2024-12-12 at 15.20.55.png

Screenshot 2024-12-12 at 15.22.43.png

これを、特定の宛先へのアクセス制限に変更します。例外のアクセス先や、対象製品を限定することができますが、ここではデフォルトのままにしておきます。デフォルトでは、サーバレスSQLウェアハウスとモデルサービングは拒否イベントのログは記録しますが、アクセスは許可します。それ以外の製品ではすべてのインターネットをアクセスを拒否します。

Screenshot 2024-12-12 at 15.23.30.png
Screenshot 2024-12-12 at 15.25.36.png

設定が反映されるまで数分待ってから、再度ノートブックを実行すると今度はアクセスが拒否されます。このようにして、サーバレスコンピュートからのインターネットアクセスをコントロールすることができます。

Screenshot 2024-12-12 at 15.26.20.png

注意
この機能はサーバレス用です。従来のクラシッククラスターからのアクセスコントロールには、PrivateLink構成を使用してください。

ネットワークアクセスイベント システムテーブルによるイベントの監視

そして、このようにしてポリシーを適用している場合、適切にアクセスがガード(拒否)されているのか、アクセス可能にすべきサイトへのアクセスをブロックしていないかを確認することが重要となります。そこで、ネットワークアクセスイベント システムテーブルの出番です。

テーブルにsystem.access.outbound_networkでは、アクセス拒否されたイベントを確認できます。

Screenshot 2024-12-12 at 15.33.45.png

以下のようなクエリーで集計することも可能です。

SELECT
    destination_type, destination,
    COUNT(*) AS destination_count
FROM
    system.access.outbound_network
GROUP BY
    ALL;

Screenshot 2024-12-12 at 15.34.40.png

ご活用ください!

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?