Fivetran の Hybrid Deployment によるデータ連携方法に関する基本的な手順

概要

本記事では、Fivetran の Hybrid Deployment を利用したデータ連携手法の検証結果を紹介します。Windows の WSL 上の Ubuntu 環境に Fivetran Hybrid Deployment のエージェントを構築し、データ連携を実施する流れを説明します。

本記事は下記記事の一部です。

出所：フルマネージドなデータ連携：データ統合の自動化を実現する Fivetran の全貌 #fivetran - Qiita

事前準備

• Databricks 環境の準備
• Fivetran 環境の構築
• Azure Blob Storage 環境の構築
• Azure SQL Database 環境の構築
• WSL 環境の準備
  • Docker 環境の構築
  • Docker デーモンの実行

検証手順

エージェントに関するトークンを取得

Fivetran にアクセスし、Destination -> Add destination を選択します。

Hybrid Deployment の Destination（例：Databricks）を選択します。

Destination 名称を入力し、Add を選択します。

Select deployment model 画面で + Configure a new agent を選択します。

利用規約に同意し、Next を選択します。

Docker を選び、Next を選択します。

Agent name に名称を入力し、Generate agent token を選択します。

その後、Install and start agent の手順を控えておきます。

エージェントのインストール

先ほど控えた Install and start agent の内容を WSL 環境で実行します。

Fivetran に再度アクセスし、Account settings -> General -> Hybrid Deployment Agents でエージェントが追加されていることを確認します。

Destination を作成

Select an existing agent で作成したエージェントを選び、Databricks のコネクターを作成します。

Azure Blob Storage をステージングストレージとして利用する場合、SoftDelete 機能を無効にする必要があります。詳細は以下の記事を参照してください。

• Fivetran Hybrid Deployment における SoftDelete が有効な Azure Blob Storage 設定時のエラーに対する解決方法 #fivetran - Qiita

Azure SQL Database 側にテーブルを準備

Azure SQL Database に Change Tracking を有効にします。

ALTER DATABASE fivetrantestsqldb 
SET CHANGE_TRACKING = ON 
(CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);

テーブルを作成し、Change Tracking を有効化します。

CREATE TABLE dbo.Employees (
    EmployeeID INT PRIMARY KEY,
    FirstName NVARCHAR(50),
    LastName NVARCHAR(50),
    Email NVARCHAR(100)
);

ALTER TABLE dbo.Employees 
ENABLE CHANGE_TRACKING
WITH (TRACK_COLUMNS_UPDATED = ON);

テーブルにデータを挿入し、内容を確認します。

INSERT INTO dbo.Employees (EmployeeID, FirstName, LastName, Email)
VALUES (1, 'Taro', 'Yamada', '[e-mail]');

SELECT TOP (1000) * FROM [dbo].[Employees]

Connection の作成

Connection を作成します。

データ連携の確認

Fivetran で Sync を実行し、Destination 側にデータが連携されていることを確認します。