概要

Fivetran の SaaS Deployment で Databricks を Destination として使用する場合、Fivetran 管理下のストレージにデータが配置される点に注意が必要です。セキュリティポリシーに照らし合わせ、この動作を事前に許容できるかどうか確認してください。同様の仕様は Fivetran に限らず他のサービスにも存在するため、運用開始後にセキュリティ違反が発覚する事態は回避しなければなりません。

本記事は下記記事の一部です。

出所：フルマネージドなデータ連携：データ統合の自動化を実現する Fivetran の全貌 #fivetran - Qiita

詳細

Databricks を Destination として運用する場合、Databricks のクラスター実行履歴を確認すると、Fivetran 管理下のストレージから COPY INTO が実行されていることがわかります。パフォーマンスの観点から推奨される方法ですが、データのソースとなるストレージはあくまで Fivetran 管理下のものが利用されている点に留意が必要です。

この挙動は SaaS Deployment 固有のもので、ユーザー自身が管理するストレージを利用したい場合は Hybrid Deployment もしくは Self-Hosted Deployment を選択する必要があります。これら 2 つのモデルを利用する際はプラン変更が必要になる可能性もあるため、導入前にセキュリティ要件とあわせて検討を行う必要があります。

出所：Fivetran for Databricks | Destination Setup Guide

出所：Staging for Databricks - HVR 6 | Fivetran Documentation

また、Snowflake や BigQuery のセットアップ手順でも同様の記述が見られるため、同様に注意が必要です。