前回 dbt Cloud のセットアップが完了 したので、さっそくモデルを作成・実行してみたいと思います。
モデルとは
モデルはdbtの中心的な概念です。
実行する変換処理の定義のことで、select文で記述します。
https://zenn.dev/dbt_tokyo/books/537de43829f3a0/viewer/models_doc
モデルについてはこちらの記事にまとめられており、とてもためになりました。
とはいえやはり動かしてみた方が分かりやすいので、自分のように初学者の方はここではスタートとして最低限必要なところだけつまみ
SELECT文に名前を付けて保存できて、「dbt run」等のコマンドでdbtに実行させると、ビューもしくはテーブルの形でウェアハウス上に構築してくれる
と理解して進めてしまいます。
細かいところでは、
- モデルは.sqlファイルで定義する
- 1つの.sqlファイル ＝ 1つのモデル ＝ 1つのSELECT文
- ファイルの名前 ＝ モデル名
も頭に置いておくと、イメージしやすくなると思います。
モデルを作成・実行してみる
以下の流れで進めます。
- （準備）サンプルデータの用意
- （準備）プロジェクトの初期化
- モデル作成
- モデル実行
1. （準備）サンプルデータの用意
データが無いことには変換処理を試せません。
dbtがサンプルデータを提供してくれているので、クイックスタートに沿って準備しておきます。
詳細は割愛しますが、以下のようにデータベース／スキーマ／テーブルを用意し、それぞれのテーブルにデータをロードしました。
2. （準備）プロジェクトの初期化
セットアップが完了すると、DevelopタブからIDE画面が開けるようになっています。
↓
「initialize dbt project」で、プロジェクト構造が自動で作成されました。
このプロジェクト内のファイルが、セットアップ時に連携したリポジトリにてバージョン管理されます。
一度初期状態でコミットしておきます。操作はIDEの画面から可能です。
↓
↓
いよいよモデルを作成していくのですが、初期状態ではmasterブランチが選択されています。
dbtは作業ブランチを作成しての作業が可能なので、ブランチを作成していきます。
この操作も、IDEの画面から可能です。
↓
↓
ブランチが作成され、選択された状態になっています。
このブランチで、モデルの作成をしていく…
のですが、実は自動で作成されたプロジェクト構造の中の「dbt_project.yml」が、プロジェクト全体の設定ファイルになっています。
プロジェクトの開始に伴い、一番上の name: にプロジェクト名を設定してから始めることにするのが良いと思います。（クイックスタートに沿って'jaffle_shop'としました）
3. モデル作成
modelsフォルダの中に、新規の.sqlファイルを作成します。
↓
↓
ファイル名 ＝ モデル名なので、ここでは『customers』というモデルを作成しています。
作成した .sqlファイルに、コードを記述して保存します。
今回はサンプルコードを貼り付けただけですが、内容は
with customers as (
select
id as customer_id,
first_name,
last_name
from raw_db.jaffle_shop.customers
),
-- //途中省略
select * from xxx
と、WITH句（名前付きサブクエリ）と SELECT文 になっていて、このSELECT結果がテーブルまたはビューになります。
4. モデル実行
モデルを作成して保存したら、画面下のコマンド欄に「dbt run」と入力してEnterキーで実行します。
↓
実行が正常終了するとこのような画面になりました。
「my_first_dbt_model」「my_second_dbt_model」は、初期化時に作成されたサンプルモデルです。
「dbt run」実行時に特にモデルを指定していない限りは、modelsフォルダ配下の全てのモデルが実行されるようです。
↓
Snowflake の方を見ると、期待通りにビューが作成されていました。
- 作成先はセットアップ時に指定したデータベース、スキーマ
- モデル名は .sqlファイル名
- 作成されるオブジェクトはデフォルトではビューになるとのことで、今回は何も指定しなかったのでビューで作成されている
中身のデータも確認できました。
基本的なモデルの作りを見ることができました。
モデルについて今回触れられなかったものとして、重要な設定が2つがります。
- マテリアライゼーションの設定
- モデル間の依存関係の設定
これらは初期化時に作成されたサンプルモデルに含まれていたので、次の機会に見ていきたいと思います。