0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Fivetran にて Databricks (クラウド DWH)に書き込む際のステージングストレージに関する注意事項

Last updated at Posted at 2025-04-14

概要

Fivetran の SaaS Deployment で Databricks を Destination として使用する場合、Fivetran 管理下のストレージにデータが配置される点に注意が必要です。セキュリティポリシーに照らし合わせ、この動作を事前に許容できるかどうか確認してください。同様の仕様は Fivetran に限らず他のサービスにも存在するため、運用開始後にセキュリティ違反が発覚する事態は回避しなければなりません。

image.png

本記事は下記記事の一部です。

image.png

出所:フルマネージドなデータ連携:データ統合の自動化を実現する Fivetran の全貌 #fivetran - Qiita

詳細

Databricks を Destination として運用する場合、Databricks のクラスター実行履歴を確認すると、Fivetran 管理下のストレージから COPY INTO が実行されていることがわかります。パフォーマンスの観点から推奨される方法ですが、データのソースとなるストレージはあくまで Fivetran 管理下のものが利用されている点に留意が必要です。

image.png

この挙動は SaaS Deployment 固有のもので、ユーザー自身が管理するストレージを利用したい場合は Hybrid Deployment もしくは Self-Hosted Deployment を選択する必要があります。これら 2 つのモデルを利用する際はプラン変更が必要になる可能性もあるため、導入前にセキュリティ要件とあわせて検討を行う必要があります。

image.png

出所:Fivetran for Databricks | Destination Setup Guide

image.png

出所:Staging for Databricks - HVR 6 | Fivetran Documentation

また、Snowflake や BigQuery のセットアップ手順でも同様の記述が見られるため、同様に注意が必要です。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?