下記の記事のように昨今Reverse ETLという言葉が台頭し、従来のETLはForward ETLと呼ばれるようになり始めました。
CensusやhightouchのようなRevese ETLに特化したSaaSもでき始めている昨今において、データエンジニアリングに関わる人々はみんな一度は思ったことが有ると思います。「Forward ETL と Reverse ETL を一つのSaaSで実行できないの？」 そうtroccoならできるんです。(ReverseETLのところはSaaSといいつつプログラミングや開発の知識が必要です。)
プログラミングETL
記憶があいまいなのですが、正式機能としてtroccoにローンチされる前の初期段階からユーザーとして利用させていただいておりました。
最初にデモを見た際に直感的に思いました。「これを待ってた！」と。
様々なデータｔソースからDWHであるBigQueryに転送するパイプラインをtroccoで作っていましたが、一度BigQueryに入ったデータを他のSaaSに入れ直したいという欲求に負けて自前のインフラにETL処理を記述してデプロイする世界に閉じ込められていました。しかし、プログラミングETLの導入で下記のような世界に変わりました。
- Forward ETL/データマート構築/RevereETLのロジック記述をtroccoの転送ジョブ設定内に集約
- ReverseETL用にインフラを管理する必要がない。
プログラミングETLの使い方
公式のデモ動画があるようなのでこちら からどうぞ。
ユースケース
私の場合は自社のプロダクトに様々な3rd Partyのデータを取り込む処理を作る必要があるという変わったタイプのプロダクトに関わっていたので、「パートナー企業のSaaSプロダクトのAPIをコールしてDWHに格納しつつ自社プロダクトのAPIに整理したデータをポストする」という処理を大量に作成していました。