VSCode で dbt プロジェクトを快適に書く方法 (BigQuery)

この記事は dbt Advent Calendar 2022 12日目の記事です。

VSCode を使って、dbt + BigQuery のプロジェクトを快適にすすめるのに役立つ拡張機能をいくつか紹介したいと思います。

※予定では、dbt metircs や Semantic Layer について書くつもりでしたが変更しました。
※DWH として BigQuery を利用することを前提としています。
※dbt-bigquery プロジェクトの基本的なことはご理解されている方を対象にしています。

紹介する VSCode 拡張機能一覧

• Wizard for dbt Core (TM)
  • dbt の Language Server
• BigQuery Runner
  • VSCode 内から BigQuery にクエリ実行
• sqlfluff
  • BigQuery, dbt にも対応した SQL Linter/Formatter

Wizard for dbt Core (TM)

dbt プロジェクトにコード補完・クエリのプレビューなどの機能を追加してくれます。位置づけとしては、dbt の Language Server のようです。

セットアップ

• 必要なパッケージをインストール。pip install dbt-rpc
• リアルタイムでクエリのコンパイル結果を見るために、ファイルの自動保存を有効にすることが推奨されているため、必要に応じて、"files.autoSave": "afterDelay" などと設定。(必須ではない)

機能

• クエリのプレビュー (コンパイル)
  • Ctrl-p: WidardForDbtCore(TM): Show query preview

• クエリのシンタックスチェック

• コード補完
  • テーブル
  • カラム
  • dbt macro
  • 関数 (BigQuery のみ)

• その他機能
  • model や macro の定義へのジャンプ
  • 関数のシグネチャーヘルプ (BigQuery のみ)

総評

これまで、クエリに問題があると dbt compile して、target/ から問題のクエリを探して、BigQuery のコンソールに貼り付けて、とやっていました。このフローを何とかしたいと思っていたのですが、この拡張機能によって、VSCode 内でコンパイルされたクエリをリアルタイムで確認しながら書くことができるようになりました。

まだ、拡張機能としては Preview の位置付けなので、model や source を作成してから、 補完候補に現れるまでにタイムラグがあったり、あるはずのカラム名が補完候補に出ないことがあったりしますが、総じて生産性を大きく上げてくれる拡張ではないかと思います。

BigQuery Runner

セットアップ

• 以下のいずれかの方法で認証
  • Ctrl-p: BigQuery Runner: Login でユーザー認証
  • 事前に gcloud auth application-default login を実行しておく
• 設定 "bigqueryRunner.projectId" でプロジェクト名を指定

※サービスアカウントを利用する方法については、公式のドキュメント を参照

機能

VSCode のエディタ画面から、BigQuery にクエリを投げられるようになります (Ctrl-P: BigQuery Runner: Run)。

基本的には、dbt run でクエリを実行するのですが、開発中ではインタラクティブに修正内容を確認したいことが多々あります。そんなときは、前述のリアルタイムプレビューから、コンパイルされたクエリに移動し、BigQuery Runner: Run するというフローが強力で、ターミナルや BQ の Web コンソールを行ったり来たりする必要がなくなります。

sqlfluff

sqlfluff は Python 製 の SQL Linter/Formatter です。dialect としてBigQuery をサポートしているだけでなく、テンプレートエンジンとして、dbt や Jinja などもサポートしています。カスタマイズできる項目も多く、個人的に SQL Linter/Formatter の決定版かなと思っています。

セットアップ

• sqlfluff をインストール。pip install sqlfluff
• .sqlfluff 設定ファイルを用意
• VSCode でフォーマッターの設定を追加 "[sql]": {"editor.defaultFormatter": "dorzey.vscode-sqlfluff"}

例えば、.sqlfluff で「タブ幅は2」「予約後は大文字」というルールを書くとすると以下のような設定になります。

[sqlfluff]
dialect = bigquery

[sqlfluff:rules]
tab_space_size = 2

[sqlfluff:rules:L010]
capitalisation_policy = upper

機能

Ctrl-P: Format Document で設定したルールで、クエリを整形してくれます。

最後に

dbt のコミュニティはさらにこれから成長していきそうなので、VSCode の拡張機能も今後さらに便利なものが出てくるんじゃないかと期待しています。もし良さそうなものを見つけ次第、記事も更新していきたいと思っています。