SnowflakeをTerraform化

Last updated at 2023-12-02Posted at 2023-12-02

この記事はnote株式会社のカレンダー | Advent Calendar 2023 - Qiitaの2日目の記事です。

SnowflakeをTerraform化したのでその時の記録となります。

背景

noteではデータウェアハウスとしてSnowflakeを採用しています。

Snowflakeではデータベースやスキーマはもちろんウェアハウスや権限など、数多くの管理すべきリソースが存在します。

SnowflakeのWEBインターフェースでももちろんそれらを管理できますが、同時によくある課題も付き纏ってきます。

変更の履歴が追いづらい
いつ変更されたかわからない
変更をレビューしづらい
同じの環境の再構築・再現が難しい

これらの課題をTerraformによってコード化することで解決を行おうというのが今回の記事の主旨になります。

インフラがコード化されるので、今までの開発の知識やgitなどのツールをそのまま活かすことができます。

SnowflakeのTerraform化

Terraformで管理するもの・管理しないもの

まずはTerraformで管理するものを決める必要があります。

管理するものを直接決められれば良いのですが、リソースの種類が多いので、管理しないものから先に決めると楽に管理するものを決めることができるように思います。

管理しないもの

管理しないものとして今回は以下のように定めました。

Terraform以外の方法で管理すると決めてあるもの
チーム外の人が細かく変更する可能性のあるもの
今現在使っていないもの
コード化すると量が膨大なもの

この理由としては、以下のようなものが挙げられます。

Terraform管理とのバッティングをなくすこと
Terraformを覚える必要がない人にも変更できる余地を残すこと
コード化すると逆に管理が大変になってしまうことを防ぐこと

例

noteでは、UDFsやストアドプロシージャはPythonでコーディングを行いCIによってデプロイされるなど別方法で管理されています。

テーブルの権限については、ロール・テーブル・操作(SELECT / INSERT / UPDATE / DELETE)ごとに作られているようで数が膨大です。

-- テーブルの権限一覧
select * from snowflake.account_usage.grants_to_roles where granted_on = 'TABLE' and granted_to = 'ROLE';

future grantなどの機能も考慮に入れるとテーブルの権限管理はTerraformでなくても良いという結論に至りました。

管理するもの

管理しないものが決まったので、あとは自動的に管理するものも決められます。
今回は次のリソースをTerraformで管理します。

snowflake_database
snowflake_database_grant
snowflake_file_format
snowflake_file_format_grant
snowflake_integration_grant
snowflake_notification_integration
snowflake_resource_monitor
snowflake_resource_monitor_grant
snowflake_role
snowflake_role_grants
snowflake_schema
snowflake_schema_grant
snowflake_stage
snowflake_stage_grant
snowflake_storage_integration
snowflake_task
snowflake_task_grant
snowflake_user
snowflake_user_grant
snowflake_warehouse
snowflake_warehouse_grant

既存のリソースの取り込み

既存のリソースの取り込みのためには、最初にSnowflakeにあるリソースをTerraformのコードに落とし込む必要があります。

noteでは、既にSnowflakeを使い始めて1年以上は経過しているので、手動でこれを行うのは大変です。

AWSなどであればterraformerのようなOSSを使えば簡単に自動で取り込めるかもしれませんが、Snowflake向けのものは見つけることができませんでした。

そこで少し面倒ですが、以下の手順で既存のSnowflakeのリソースをTerraformに取り込むことにしました。

Terraform用のユーザー作成(公式ドキュメント通り)
(ACCOUNTADMINロールの付与は推奨されていないらしい)
Snowflake providerのドキュメントをスクレイピング
(2)の結果を元にPythonのクラスを生成
(3)の結果とSQLでTerraformのコードを生成
terraform planを行い差分が出ないように修正(手作業)

権限のTerraform化について

Snowflakeの権限リソースはTerraformでは大きく2つの管理方法があるようでした。

① snowflake_<リソース名>_grantを利用するもの
② snowflake_grant_privileges_to_role を利用するもの

①の方法はコードが冗長で管理が難しくなるため、②が導入されたという経緯のようです。

実際①の方法で、snowflake_file_format_grantなどをコード化してterraform planを実行すると以下のような警告が表示されます。

$ terraform plan

... <省略> ...

Warning: Deprecated Resource
│
│   with snowflake_file_format_grant.a_4f7108a1_f414_46ce_af52_b976fea8cb3c,
│   on config_file_format_grant.tf line 1, in resource "snowflake_file_format_grant" "a_4f7108a1_f414_46ce_af52_b976fea8cb3c":
│    1: resource "snowflake_file_format_grant" "a_4f7108a1_f414_46ce_af52_b976fea8cb3c" {
│
│ This resource is deprecated and will be removed in a future major version release. Please use snowflake_grant_privileges_to_role instead.