問題

共有クラスターで、マネージドテーブルにマウントされた外部ロケーション(AWS | Azure | GCP)にアクセスするためにdbutilsを使用しています。そのロケーションのパスを一覧しようとした場合、INVALID_PARAMETER_VALUE.LOCATION_OVERLAPエラーメッセージで失敗します。

エラーは、指定されたパスがマネージドストレージと重複していると言っています。

dbutils.fs.ls("<storage-blob>://path/")

AnalysisException: [RequestId=96dd6185-e0dc-4fe0-94ad-bd8ab05fbd8e ErrorClass=INVALID_PARAMETER_VALUE.LOCATION_OVERLAP] Input path url '://path' overlaps with managed storage

原因

マネージドディレクトリに対するリストコマンドの実行はUnity Catalogではサポートされていません。カタログやスキーマのロケーションはマネージドストレージとして予約されています。

ソリューション

外部テーブルはカタログやスキーマのストレージロケーションと重複させることはできませんが、ルートロケーションのサブディレクトリ配下に作成することはできます。カタログやスキーマで使用されるルートロケーションやその上位ディレクトリに外部テーブルを作ってはいけません。

例えば、ルートロケーションが<storage-blob>://<some-root>だとします。対応するカタログやスキーマのロケーションは、<storage-blob>://<some-root>/__unitystorage/catalogs/<catalog-id>となるマネージドストレージロケーションと同じものになります。

マネージドテーブルと重複しない限り、some-root/配下に外部ロケーションを作成することができます。この例では、<storage-blob>://<some-root>/<some-path>/<external-table-path>は外部ロケーションとして適切なパスとなります。

この例のロケーションのコンテンツを一覧しようとした場合には、実行は成功します。

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル