こちらでPrivateLink環境を構築し、

こちらでクロスアカウントのS3バケットにアクセスできるように設定しました。ここまででも結構な道のり。

問題なく接続できるだろうと思ったらエラーに。

Python

display(dbutils.fs.ls("s3a://ty-databricks-cross-account-bucket"))

org.apache.hadoop.net.ConnectTimeoutException: Instantiate shaded.databricks.org.apache.hadoop.fs.s3a.auth.AssumedRoleCredentialProvider on : com.amazonaws.SdkClientException: Unable to execute HTTP request: Connect to sts.amazonaws.com:443 [sts.amazonaws.com/54.239.21.217] failed: connect timed out

インスタンスプロファイルも設定して、クラスターのSpark設定も以下のようになっています。

fs.s3a.aws.credentials.provider org.apache.hadoop.fs.s3a.auth.AssumedRoleCredentialProvider
spark.databricks.hive.metastore.glueCatalog.enabled true
fs.s3a.assumed.role.arn arn:aws:iam::<S3バケットがあるAWSアカウントID>:role/bucket-owner-acct-s3-access-role

エラーメッセージをよく見てみると、Unable to execute HTTP request: Connect to sts.amazonaws.com:443 [sts.amazonaws.com/54.239.21.217] failed: connect timed outであれっと。STSのリージョナルエンドポイントも設定しているのになぜグローバルURLにアクセスしているのか。

解決策はTroubleshoot regional endpointsに。Spark設定で明示的にリージョナルエンドポイントを参照するようにすることで解決しました。以下の2行を追加。リージョンはap-northeast-1です。

spark.hadoop.fs.s3a.endpoint https://s3.ap-northeast-1.amazonaws.com
spark.hadoop.fs.s3a.stsAssumeRole.stsEndpoint https://sts.ap-northeast-1.amazonaws.com

これで無事アクセスできました。

Databricks 無料トライアル

Databricks 無料トライアル