概要

Fivetran の Hybrid Deployment にて Azure Blob Storage をステージングストレージとして設定する際の下記エラーの対応方法を共有します。原因としては BlobStorageEvents 、あるいは、 SoftDelete が有効になっていることであり、デフォルトで有効となる SoftDelete が原因となる可能性が高いです。

Connection tests failed.
Validate Permissions: [Databricks]JDBCDriver ERROR processing query/statement. Error Code: 0, SQL state: 42000, Query: COPY INTO ***, Error message from Server: org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.hadoop.fs.FileAlreadyExistsException: Operation failed: "This endpoint does not support BlobStorageEvents or SoftDelete. Please disable these account features if you would like to use this endpoint.", 409, HEAD

エラーへの再現方法

作成したストレージにて、 `データ保護` -> `BLOB の論理的な削除を有効にする` を有効化

Fivetran にて接続の検証がエラーとなることを確認

Connection tests failed.
Validate Permissions: [Databricks]JDBCDriver ERROR processing query/statement. Error Code: 0, SQL state: 42000, Query: COPY INTO ***, Error message from Server: org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.hadoop.fs.FileAlreadyExistsException: Operation failed: "This endpoint does not support BlobStorageEvents or SoftDelete. Please disable these account features if you would like to use this endpoint.", 409, HEAD

エラーへの対応方法

作成したストレージにて、 `データ保護` -> `BLOB の論理的な削除を有効にする` を無効化

Fivetran にて接続の検証が問題なく完了することを確認