こちらの手順をウォークスルーします。

こちらも参考にしています。

警告！
クラウド横断での接続を行う構成ですので、以下の点には注意してください。

アクセスに用いる認証情報は厳重に管理してください。
クラウド間通信のコストが発生することに注意してください。

AWS側での作業

S3バケットの作成

taka-bucket-from-azureというS3バケットを作成します。S3ブロックパブリックアクセスは有効化してください。

IAMユーザーの作成

ここではs3-userというユーザーを作成し、AmazonS3FullAccessのポリシーをアタッチします。

注意
ここでは強力な権限であるAmazonS3FullAccessを付与していますが、ご自身のセキュリティ要件に基づいた権限設定を行ってください。

セキュリティ認証情報タブにアクセスし、アクセスキーセクションにあるアクセスキーを作成ボタンをクリックし、必要に応じて説明タグを追記してアクセスキーを作成します。

アクセスキーとシークレットアクセスキーをメモしておきます。

警告！
これらのキーは厳重に管理してください。

Azure側での作業

上のステップで取得したアクセスキーをAzure Databricksで使えるように設定を行います。これらのキーを平文で管理することは推奨しておらず、シークレットに格納することを推奨しています。

Azure Databricksの場合、シークレットの管理方法には2つの選択肢があります。

Azure Key Vaultによる管理
Azure Databricksによる管理

ここでは、Azure Databricksで管理するアプローチを取りますが、要件に基づいて管理方法を選択ください。

シークレットの管理をするためには、Databricks CLI(コマンドラインインタフェース)を使う必要があります。

ローカルマシンでDatabricks CLIをインストールします。あるいは、Azure Cloud Shellをお使いください。ここでは、ローカルマシンにインストールしたDatabricks CLIで作業します。

Databricks CLIのセットアップ

Databricks CLIのセットアップには、Azure Databricksワークスペースでパーソナルアクセストークンを取得する必要があります。

ワークスペースにアクセスし、右上のユーザーアイコンをクリックし、設定を選択します。ユーザー > 開発者にアクセスし、アクセストークンの管理をクリックします。

新規トークンを作成をクリックし、コメントと有効期間を指定してトークンを作成します。表示されるトークンをメモしておきます。有効期間を指定しない場合は無期限有効となります。

警告！
このトークン
は厳重に管理してください。

こちらの手順に従い、コマンドプロンプトやターミナルを起動し、以下を実行します。

databricks configure

Azure Databricksワークスペースのホスト名を聞かれるので、使用するワークスペースにブラウザでアクセスし、https://以降から.net/までを貼り付けます。次にパーソナルアクセストークンを聞かれるので、上で取得したパーソナルアクセストークンを設定します。これで、Databricks CLIの設定は完了です。

注意
上の例では、--profile testを指定していますが、これはプロファイルを指定しています。複数環境を操作する場合にはプロファイルを作成すると、簡単に設定を切り替えられるので作業が楽になります。

シークレットスコープの作成

シークレットは複数作成することができ、それらはシークレットスコープで管理することができます。ですので、先にシークレットスコープを作成します。

Databricks CLIで以下を実行します。ここではs3_accessというシークレットスコープを作成しています。また、プロファイルtestを指定して、接続先を指定してます。

databricks secrets create-scope s3_access -p test

スコープが作成されたことを確認します。

databricks secrets list-scopes -p test

Scope      Backend Type
s3_access  DATABRICKS

シークレットの作成

以下の二つのコマンドを実行して、aws_access_key_idとaws_secret_access_keyのシークレットを作成します。

注意
aws_access_key_idはAKIで始まる文字列です。

databricks secrets put-secret --json '{
  "scope": "s3_access",
  "key": "aws_access_key_id",
  "string_value": "AKI..."
}' -p test

databricks secrets put-secret --json '{
  "scope": "s3_access",
  "key": "aws_secret_access_key",
  "string_value": "....."
}' -p test

シークレットが登録されたことを確認します。

databricks secrets list-secrets s3_access -p test

Key                    Last Updated Timestamp
aws_access_key_id      1716255148842
aws_secret_access_key  1716255154670

注意
シークレットにアクセスコントロールを施すことができます。セキュリティ要件に基づき、適切な設定を行ってください。

Databricksクラスターの設定

これで、Azure Databricksから上述のシークレットを利用できるようになりました。クラスターからシークレットを使用するようにするには、もう一つの設定が必要です。設定を行わない場合、S3からアクセスが拒否されます。

使用するクラスターの高度な設定を展開します。

ここの環境変数に以下を貼り付けます。

AWS_SECRET_ACCESS_KEY={{secrets/s3_access/aws_secret_access_key}}
AWS_ACCESS_KEY_ID={{secrets/s3_access/aws_access_key_id}}

注意
この例では、上のようになっていますが、s3_accessは実際に作成したシークレットスコープ名、aws_secret_access_keyやaws_access_key_idは実際に作成したシークレット名で置き換えてください。

これでクラスターを再起動します。

注意
この設定は当該クラスターにアクセスできるすべてのユーザーに対して有効となります。クラスターのアクセス権を適切に設定してください。

改めて以下を実行します。CSVファイルは事前に配置してあります。

aws_bucket_name = "taka-bucket-from-azure"

df = spark.read.csv(f"s3a://{aws_bucket_name}/japan_cases_20220818.csv", header=True)
display(df)
display(dbutils.fs.ls(f"s3a://{aws_bucket_name}/"))

これでアクセスできました。

Azure DatabricksからのAWS S3へのアクセス