dbt初学者が学んだポイント
概要 社内のdbt基盤で新規テーブルを作成する機会があり、dbt初挑戦しました。 そこで学んだポイントを4つ紹介します。 1. dbtのレイヤー構成を理解する dbtのレイヤー構成 dbtではデ...
3
0
Comment0
8 search resultsShowing 1~8 results
Stocked
You need to log-in
BigQueryスクリプトで複数テーブルの行数比較を自動化する
概要 前回の記事では、BigQueryスクリプトのFOR INループで複数テーブルを一括処理する方法を紹介しました。 今回はこれを応用して、EXECUTE IMMEDIATEのINTO句とUSI...
5
0
Comment0
BigQueryスクリプトのFOR INループで複数テーブルを一括処理する
概要 特定のデータセット配下に存在する複数テーブルに対して一括でクエリ実行をした際に使用したBigQueryスクリプトを紹介します。 __TABLES_SUMMARY__ テーブルとFOR IN...
4
0
Comment0
Airflowで子DAGの完了を待機するポーリング制御の実装
概要 業務で1000以上のBigQueryテーブルに対してストアドを並列実行する機会があり、その際に実装した親子DAGのポーリング制御ロジックを紹介します。 今回はairflow dags tr...
3
0
Comment0
Google Driveで管理している複数のスプレッドシートが更新されたらSlack通知する(GAS)
概要 Google Driveのフォルダ内にある複数のスプレッドシートを1つのGoogle Apps Script(GAS)でお手軽に監視できるのかが気になり、試験的に作成してみました。 大量の...
8
0
Comment0
Google Cloud FunctionsでGoogle Drive内の情報をSlack通知してみた②(実装編)
概要 Google Driveのフォルダ内にあるスプレッドシート情報をSlackに通知するCloud Functionsを試験的に作成してみたのでご紹介します。本記事は実装編です。 セットアップ...
4
0
Comment0
Google Cloud FunctionsでGoogle Drive内の情報をSlack通知してみた①(セットアップ編)
概要 Google Driveのフォルダ内にあるスプレッドシート情報をSlackに通知するCloud Functionsを試験的に作成してみたのでご紹介します。本記事はセットアップ編です。 構成...
5
1
Comment0
WindowsでAirflowのCustom XCom Backendを試した
WindowsでAirflowのCustom XCom Backendを試してみました。 https://airflow.apache.org/docs/apache-airflow/stabl...
2
0
Comment0
8 search resultsShowing 1~8 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles