概要

GCPのサービスの一つであるDataformについて、以下の2部構成でまとめいる記事のうち、本記事は実践編です

データ分析に関係する業務の人目線での記事となっておりますが、参考になれば幸いです

この記事では、Google Cloud Platform (GCP) のサービスであるDataformの実践的な使い方について説明します
実践編として、5つの機能を紹介し、データ分析に携わる方々にとって役立つ内容となっています

データ分析において、上流システムの一部不具合により、GCP上に構築したワークフローの中の特定の機能やシナリオを再実行したい場面があります。そんな時に便利な機能が「対象を指定して実行する」機能です

この機能は、SQLXのconfigブロックでtagsを作成し、実行時にそのtagsを指定することで簡単に行えます

以下のようにtagsを含むsqlxを作成

以下のように「実行開始」から作成したtagsの選択が可能

全件更新とは、対象のテーブルをゼロから再作成する処理です
一方、差分更新とは、集計元と集計先の差分のみを更新する処理です

Dataform上での実施方法は以下の通りです

ここでは差分更新の際のサンプルを以下に示します

configブロックで、incrememntalタイプを定義し、sqlにて差分の条件を記述することで、この条件に該当する差分を更新することが可能

データ分析で使用するデータにnull値や重複があると、正確な分析が困難になります
Dataformのassertionsオプションを使用することで、事前にこれらの問題を検知することが可能です

例えば、nullでないことをチェックするには以下のようにする

実行ログやテスト結果が保存されるテーブルから結果を確認することができます

以下のように確認

その他、個人的におすすめな便利機能があるので、簡単に紹介します

Dataformではカスタム変数を使用することができます
カスタム変数を使用し、動的に値を変更したい場合に使うことができます

詳細は、以下の各ドキュメントをご覧ください

また、ワークフローを構築すると、都度ログを確認する作業が必要になります
この作業を効率化するために、エラー検知とその結果をSlackに通知する仕組みを構築することが可能です
これにより、エラーが発生した場合のみ通知を受け取り、その通知でログを確認することができます

詳細な手順は以下の記事を参照してください

Dataformを使用してSQLのワークフローを構築し、管理・運用するための実践的な機能を紹介しました
これらの機能を効果的に利用することで、データ品質の向上や開発生産性の向上に貢献できれば幸いです