この記事は何？

BigQuery Advent Calendar 2021 の5日目の記事です。
普段使ってるBigQueryとSnowflakeでデータを移動させる方法のうち、Snowflake => BigQuery の回です。

全体の流れ

全体の流れはシンプルです。

バケット準備：GCPでGCSにバケットとデータを置くパスを切っておきます
ストレージ統合作成：Snowflakeでストレージ統合を作ります
IAMロール作成：GCP上でIAMロールを作ってパーミッションを与えます
IAMロール割当：Snowflakeのストレージ統合で作られたサービスアカウントにIAMロールを割り当てます
Snowflakeからアンドロード：Snowflakeから COPY INTO <場所> を使って、GCSにデータをアンロードします
BigQueryで読み込み：BigQueryでGCSの該当パスを外部テーブルに指定して、SELECTします
完了

どうでしょうかんたんでしょ？
しかも一度ストレージ統合を作ってしまえば、配下のパスに好きにデータをアンロードできるので、BigQueryでも読ませ放題ですね。

バケット準備

特に言うことはありませんが、バケットとパスを作りましょう。
このあたりを読んで好きな方法で作成しましょう。

ストレージ統合作成

Snowflakeへログインして、ストレージ統合を作りましょう。
ドキュメントはこちらです

使うSQLはこんな感じです。

CREATE STORAGE INTEGRATION gcs_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = GCS
  ENABLED = TRUE
  STORAGE_ALLOWED_LOCATIONS = ('gcs://hogehogehoge/from-snowflake/')
;

ストレージ統合ができたら、 DESC STORAGE INTEGRATION で割り当てられた、サービスアカウントを確認しておきましょう。
STORAGE_GCP_SERVICE_ACCOUNT のところに書かれています。

IAMロール作成：

次にGCSにアクセスできるようにIAMロールを作成します。
必要な権限は下記になります。

storage.buckets.get
storage.objects.create
storage.objects.delete
storage.objects.get
storage.objects.list

GCPのIAMの管理画面からポチポチ作成しましょう。

詳細はこのあたりの手順を参考にしてください。

IAMロール割当

次はストレージ統合で割り当てられたサービスアカウントに、今作ったIAMロールを割り当てます。
作業は引き続きGCPのIAMの管理画面からポチポチで行えるはずです。
詳細はこのあたりの手順を参考にしてください。

Snowflakeからアンドロード

次はついにSnowflakeからデータをアンロードします。
データのアンロードには COPY INTO <場所> を使います。
このとき <場所> には gcs://バケット名/パス名/ を指定します。

オプションを含めて指定すると下記のようなSQLになります。

copy into 'gcs://mybucket/unload/'
  from <テーブル名やSELECT文>
  storage_integration = <ストレージ統合名>;

メチャクチャ簡単ですね。

BigQueryで読み込み

最後はBigQueryで外部テーブルとして読み込んだら完了です。

このあたりの手順を参考に作ってみましょう。

最後に

だいたい慣れてくると10分くらいで作業できるようになります。
これでお客様に「SnowflakeのこのデータをBigQueryに読み込ませてほしいんですが、どれくらいかかりますか？」を「10分！！！」と答えられるようになりますね！

ちなみに、GCSにデータを置きっぱなしにすれば、Snowflakeからも外部テーブルとしてクエリできるようになっていますので、捗るかもしれません。
また、アンロードする時にHive形式のパーティションに則ったパスでアンロードすれば、BigQuery側もパーティションとして読み取れるので効率が良さそうです。

ちなみにGCSはアップロードが無料だったと思うので、費用的にはアンロードにかかったSnowflakeのウェアハウス消費クレジットと、AWSからGCSへのアウトバウンドの通信費だけです。
お安そうですね。

SnowflakeからBigQueryにデータを移動する