Fivetran Transformations 概要整理（dbt Cloud / Coalesce 統合含む）
Fivetran は、データの ELT (Extract → Load → Transform) プロセスにおける「Transform」部分を支援する Transformations 機能を提供しています。
公式ドキュメント（Fivetran Transformations）をベースに、その全体像を整理します。
全体構成
Fivetran Transformations は大きく分けて以下の2つのアプローチがあります。
-
Pre-built Data Models
- Quickstart や Fivetran Data Models を利用した「事前構築済み変換」
-
Integrations（統合）
- Fivetran ホストの dbt Core
- 外部ツールとの統合（dbt Cloud / Coalesce）
これらは単独利用も、組み合わせて利用することも可能です。
1. Pre-built Data Models（事前構築済みデータモデル）
Fivetran が提供するモデルを使えば、広告・SNSなどのデータを分析に適した形式へ素早く変換できます。
モデルの種類
-
Quickstart Data Models
- コード不要で即セットアップ可能
- ノーコードで短時間に分析を開始
-
Fivetran Data Models
- dbt プロジェクトにインポートして活用可能
- カスタマイズ性・柔軟性が高い
機能比較表
| 機能項目 | Fivetran Data Models | Quickstart Data Models |
|---|---|---|
| SQLによる変換 | ✅ | ✅ |
| 依存関係管理 | ✅ | ✅ |
| バージョン管理 | ✅ | ✅ |
| 自動ドキュメント生成 | ✅ | ✅ |
| スケジュール統合 | ✅ | ✅ |
| スキーマ選択 | ✅ | — |
| カスタマイズ性 | ✅ | — |
| ノーコードセットアップ | — | ✅ |
2. Integrations（統合／オーケストレーション）
2-1. Fivetran-Hosted dbt Core
- Fivetran 上で dbt Core をホスト
- SQL による柔軟な変換が可能
- バージョン管理、テスト、ドキュメント生成にも対応
2-2. サードパーティ統合：dbt Cloud / Coalesce
Fivetranは「dbt Cloud」と「Coalesce.io」という外部ツールとの連携をサポートしています。
対応プラットフォーム
- dbt Cloud（dbt Labs 提供のホステッド dbt。ブラウザ IDE やスケジューリング機能を備える）
- Coalesce.io（GUI＋コードのハイブリッド環境、カラム単位のデータラインエージなどを提供）
セットアップ概要
-
dbt Cloud
- Team/Enterprise プランの dbt Cloud アカウント
- サービストークン作成、リージョン/API設定、プロジェクト選択で連携完了
-
Coalesce
- Coalesce アカウント（APIアクセス権含む）
- base URL（例:
https://app.coalescesoftware.io）とアクセストークンを登録 → プロジェクト選択で連携完了
スケジューリング方式
- Integrated Scheduling：Fivetran のコネクター同期後に自動実行
- Custom Scheduling：任意の時間で実行可能（cron形式など）
制約事項
- 1デスティネーションにつき1プロジェクトのみ設定可能
- Integrated Scheduling は、同一デスティネーション上の全コネクターに依存
- コネクター同期が発生すると、新データ有無に関わらず変換が実行される
リリース状況
- dbt Cloud オーケストレーション：2024年2月 ベータ提供開始
- Coalesce オーケストレーション：2024年10月 ベータ → 2024年12月 GA
- 2025年1月：両者ともジョブログ（開始／成功／失敗）の記録が可能に
まとめ
Fivetran Transformations が提供する3つの選択肢：
-
Quickstart / Fivetran Data Models
- コード不要ですぐ使える事前構築済みモデル
-
Fivetran-Hosted dbt Core
- SQL変換＋CI/CD、テスト、バージョン管理
-
外部統合（dbt Cloud / Coalesce）
- 既存のオーケストレーション環境を活用可能
これにより、チームはニーズに合わせて シンプル／柔軟／拡張性 を選択でき、分析基盤の生産性を大きく向上させることができます。