概要
Fivetran の Hybrid Deployment にて Azure Blob Storage をステージングストレージとして設定する際の下記エラーの対応方法を共有します。原因としては BlobStorageEvents 、あるいは、 SoftDelete が有効になっていることであり、デフォルトで有効となる SoftDelete が原因となる可能性が高いです。
Connection tests failed.
Validate Permissions: [Databricks]JDBCDriver ERROR processing query/statement. Error Code: 0, SQL state: 42000, Query: COPY INTO ***, Error message from Server: org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.hadoop.fs.FileAlreadyExistsException: Operation failed: "This endpoint does not support BlobStorageEvents or SoftDelete. Please disable these account features if you would like to use this endpoint.", 409, HEAD
エラーへの再現方法
作成したストレージにて、 データ保護 -> BLOB の論理的な削除を有効にする を有効化
Fivetran にて接続の検証がエラーとなることを確認
Connection tests failed.
Validate Permissions: [Databricks]JDBCDriver ERROR processing query/statement. Error Code: 0, SQL state: 42000, Query: COPY INTO ***, Error message from Server: org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.hadoop.fs.FileAlreadyExistsException: Operation failed: "This endpoint does not support BlobStorageEvents or SoftDelete. Please disable these account features if you would like to use this endpoint.", 409, HEAD
エラーへの対応方法
作成したストレージにて、 データ保護 -> BLOB の論理的な削除を有効にする を無効化
Fivetran にて接続の検証が問題なく完了することを確認
