Fivetranは、様々なデータソース（各種SaaSアプリやDBなど）から、クラウド型DWHを中心としたデータ分析基盤へ、データ同期を自動化させることができるツールです。

最短5分のセットアップでデータパイプラインを構築することができ、それ以降のデータ同期を自動してくれるとのこと。

今回は、このFivetranを使用して(RDS)PostgreSQLから(AWS)Databricksへのパイプラインを構築し、データ同期を行ってみました。

全体の流れ

やってみたところ、少し長くなってしまったので分割してまとめています。
（SaaSアプリをデータソースとする場合ならそこまでかからなかったと思うのですが、今回はDBをデータソースとしたため、特に2.のコネクター作成で必要な手順が多かった印象です）

同期先((AWS)Databricks)を登録します　※この記事です
データソース((RDS)PostgreSQL)のコネクターを作成します
同期内容を確認してみます　※作成中

前提

Fivetran、(RDS)PostgreSQL、(AWS)Databricksの環境は既存のものを使用しています。
そのため、環境構築については特に触れずに始まります。

同期先((AWS)Databricks)を登録します

まず初めに同期先となるDatabricksとの連携を登録していきます。
同期先と言ってきましたが、データ界隈では『Destination（デスティネイション）』『宛先』といった呼び方をするようです。

なので、Fivetranにログインしたら、メニューから『Destinations』を選択し、Destinations画面へ遷移します。
そして右上の「Add destination」ボタンから、登録を行っていきます。

Destination名を入力。

同期先のタイプはDatabricksを選択。

セットアップ入力画面まで遷移してきました。

今回はできるだけ簡単に試してみたいので、下記の方針で進めていきます。

同期先のカタログは新規で作成しない
データ格納先は外部ロケーションを指定せず、デフォルトのディレクトリで
AWS PrivateLinkは使用しない
DatabricksのSQLウェアハウスでなくクラスターを作成して接続する

特にオプション的なものを付けないこの条件であれば、比較的簡単に接続設定を行うことができました。
※使用した環境はUnity Catalog機能有効化済みのDatabricks環境を使用しています。

1. Databricks側で接続に使用するクラスターを作成・起動する

任意のクラスター名を入力し、ランタイムバージョンは10.4LTS以降にしておきます。
あとはデフォルトの状態で起動しました。

起動したら、クラスターの詳細から［構成＞高度なオプション＞JDBC/ODBC］を表示し、下記の情報をコピーしてセットアップ画面に入力します。

サーバーのホスト名（Server Host Name）
ポート（Port）
HTTPパス（Http Path）

2. Databricks側でアクセストークンを作成する

生成されたアクセストークンをコピーしてセットアップ画面（Personal Access Token）に入力します。

3. そのほかの項目を埋めて、接続を実行

Catalog：同期先のカタログを指定できますが、今回は入力せず進めます
Create Delta tables in an external location：外部テーブルは使用しないのでOFF
Data processing location：今回は日本を選択
Cloud service provider：今回はAWSを選択
Timezone：今回はJSTを選択

入力できたら「Save＆Test」ボタンで接続します。
Fivetran側でいくつかテストが行われ、問題なければ次のような画面になって完了です。

Connected（接続済み）になっています。

これで、同期先(Databricks)の登録が完了しました。

次は、データソース((RDS)PostgreSQL)のコネクターを作成します。
https://qiita.com/ny94/items/103f6fb892afc5bdf58d