概要

本記事では、Fivetran の Hybrid Deployment を利用したデータ連携手法の検証結果を紹介します。Windows の WSL 上の Ubuntu 環境に Fivetran Hybrid Deployment のエージェントを構築し、データ連携を実施する流れを説明します。

本記事は下記記事の一部です。

事前準備

Fivetran にアクセスし、Destination -> Add destination を選択します。

Hybrid Deployment の Destination（例：Databricks）を選択します。

Destination 名称を入力し、Add を選択します。

Select deployment model 画面で + Configure a new agent を選択します。

利用規約に同意し、Next を選択します。

Docker を選び、Next を選択します。

Agent name に名称を入力し、Generate agent token を選択します。

その後、Install and start agent の手順を控えておきます。

先ほど控えた Install and start agent の内容を WSL 環境で実行します。

Fivetran に再度アクセスし、Account settings -> General -> Hybrid Deployment Agents でエージェントが追加されていることを確認します。

Select an existing agent で作成したエージェントを選び、Databricks のコネクターを作成します。

Azure Blob Storage をステージングストレージとして利用する場合、SoftDelete 機能を無効にする必要があります。詳細は以下の記事を参照してください。

Azure SQL Database に Change Tracking を有効にします。

ALTER DATABASE fivetrantestsqldb 
SET CHANGE_TRACKING = ON 
(CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);

テーブルを作成し、Change Tracking を有効化します。

CREATE TABLE dbo.Employees (
    EmployeeID INT PRIMARY KEY,
    FirstName NVARCHAR(50),
    LastName NVARCHAR(50),
    Email NVARCHAR(100)
);

ALTER TABLE dbo.Employees 
ENABLE CHANGE_TRACKING
WITH (TRACK_COLUMNS_UPDATED = ON);

テーブルにデータを挿入し、内容を確認します。

INSERT INTO dbo.Employees (EmployeeID, FirstName, LastName, Email)
VALUES (1, 'Taro', 'Yamada', 'taro.yamada@example.com');

SELECT TOP (1000) * FROM [dbo].[Employees]

Connection を作成します。

Fivetran で Sync を実行し、Destination 側にデータが連携されていることを確認します。