dbt Coreのインストール手順をまとめました。
dbt Coreとは
dbt (Data Build Tool) Coreは、データ変換(ETLプロセスの「変換」を担当する)ツールです。
データエンジニアリングの分野でよく使われますね。
コマンドラインで操作ができ、データウェアハウス内のデータを変換します。
SQLを用いてデータモデリングを行い、データ品質のテスト、ドキュメンテーションの生成、およびデータ変換の自動化をサポートできます。
インストール手順
※任意
dbt Core用の環境を準備します。
Dbt# python3 -m venv env
Dbt# ls
env
Dbt用の環境を有効化します。
Dbt# source env/bin/activate
(env) Dbt#
pipを使いdbt-coreをインストールします。
(env) Dbt# python3 -m pip install dbt-core
Collecting dbt-core
Downloading dbt_core-1.7.9-py3-none-any.whl (1.0 MB)
(env) Dbt# dbt --version
Core:
- installed: 1.7.9
- latest: 1.7.9 - Up to date!
Plugins:
dbtのバージョンも確認できました。
データウェアハウス用のdbtもインストールします。
対象
- Snowflake
- BigQuery
(env) Dbt# python3 -m pip install dbt-snowflake dbt-bigquery
Collecting dbt-snowflake
Downloading dbt_snowflake-1.7.2-py3-none-any.whl (46 kB)
(env) Dbt# dbt --version
Core:
- installed: 1.7.9
- latest: 1.7.9 - Up to date!
Plugins:
- bigquery: 1.7.6 - Up to date!
- snowflake: 1.7.2 - Up to date!
Snowflake, BigQueryどちらもインストールできましたね。
これでdbtコマンドラインが使えるようになりました。
参考