今回の課題
ETLとELTの違いについて理解したかった。
ETLとは
抽出、変換、書き出しの手順でデータを処理する。
データソース→ストレージと、ストレージ→DWHの2種類のETLが必要になる。
データの転送もあるので、JavaやPythonなどのプログラミング言語で処理を実装する必要があるため、一部のデータエンジニアではないと対応が難しかった。
ELTとは
抽出、変換、書き出しの手順でデータを処理する。
データレイク層が「DWH」システム上に構築されるようになったもの。
データソース→BigQuery（データレイク＆DWH）という一回のELTで済む。
データ変換であれば、SQLで対応可能なので、アナリストやマーケターでも対応しやすい方法。
BigQueryなどの、ストレージ課金が最小化されていて、処理速度が向上したDWHサービスが台頭し始めたことによって、こちらで対応されることが増えた。