Dataformを導入したときに戸惑うのがディレクトリ構成をどうするか。
自分もこれに迷っていたので資料を探していたところ、公式のオススメが紹介されていたのでまとめる。
https://docs.dataform.co/best-practices/start-your-dataform-project
公式がオススメするディレクトリ構成
それぞれのフォルダーごとに次のような使い方を想定している。
-
definitions/sources
- 後の工程で使いやすくするためにデータソースに対して軽い整形を行う。例えば異なるテーブル間で同じカラム名が使われるようにしたり、データ型を統一したりする。
-
definitions/staging
- 最終的に出したい指標(KPIなど)を出しやすくするために、
sources
の異なるテーブルを結合し、整形を行う。
- 最終的に出したい指標(KPIなど)を出しやすくするために、
-
definitions/reporting
-
staging
フォルダーのデータを元に、集計関数を使いながら見たい指標(KPIなど)を出す。
-