はじめに

本記事は、

「Snowflakeでデータパイプラインを構築する方法（Snowpipe・Stream・Task）」

で紹介したSnowpipeについて、より詳しく解説する記事です。

データパイプラインの記事はこちらです。

データパイプラインでは、SnowpipeはS3へ配置されたファイルを自動でSnowflakeへロードするために利用していました。

本記事では、

Snowpipeとは何か
S3イベント通知との関係
COPY INTOとの違い
Snowpipeが動く仕組み

について、図解を交えながら解説します。

この記事はこんな方におすすめ

Snowflakeを学び始めた方
Snowpipeの役割を理解したい方
S3から自動でデータを取り込みたい方
S3イベント通知との関係を知りたい方
COPY INTOとの違いを知りたい方
データパイプラインの全体像を理解したい方

Snowpipeとは？

Snowpipeとは、

Amazon S3などの外部ストレージへファイルが配置されたことをきっかけに、自動でテーブルへロードする機能です。

簡単に言うと、

ファイルを自動で取り込んでくれる仕組み

になります。

ただし、Snowpipe自身がS3を常に監視しているわけではありません。

S3イベント通知と連携することで、自動ロードを実現しています。

イメージ

CSVをS3へ配置すると、S3イベント通知によってSnowpipeが起動し、自動でロードが開始されます。

S3イベント通知とは？

S3イベント通知とは、

S3で発生したイベント（ファイルのアップロードなど）を他のサービスへ通知する機能です。

SnowpipeのAuto-ingestでは、この仕組みを利用して

「新しいファイルが配置された」

ことを検知しています。

つまり、

CSV配置
      │
      ▼
S3イベント通知
      │
      ▼
Snowpipe起動

という流れになります。

※AWS環境では、S3イベント通知からAmazon SNSやAmazon EventBridgeなどを経由してSnowpipeへ通知される構成が一般的です。

なぜSnowpipeが必要なの？

Snowpipeを利用しない場合は、

毎回SQLを実行する必要があります。

例えば、

COPY INTO sample_table
FROM @sample_stage;

を毎回実行しなければなりません。

つまり、

CSV配置

↓

人がCOPY INTOを実行

↓

テーブルへロード

という流れになります。

ファイルが頻繁に配置される環境では、

手動実行では運用が大変になります。

Snowpipeを利用すると？

Snowpipeを利用すると、

CSVを配置するだけで、

自動的にロードされます。

CSV配置

↓

S3イベント通知

↓

Snowpipe起動

↓

自動ロード

↓

テーブル更新

SQLを毎回実行する必要がありません。

Snowpipeはどのように動く？

Snowpipeは、

External Stageを利用してS3上のファイルを読み込みます。

また、ファイルの配置はS3イベント通知によって検知します。

つまり、

External Stage：どこにファイルがあるかを教える
S3イベント通知：ファイルが配置されたことを知らせる
Snowpipe：実際にデータをロードする

という役割分担になっています。

データパイプラインではどこで使われる？

Snowpipeは、

データパイプラインの中で

S3からステージングテーブルへデータをロードする役割です。

業務では、

一度ステージングテーブルへロードしてから、

データ加工や重複チェックを行う構成がよく利用されます。

COPY INTOとの違い

初心者がよく疑問に思うポイントです。

COPY INTO	Snowpipe
手動実行	自動実行
バッチ向け	リアルタイム向け
SQL実行が必要	S3イベント通知で自動起動
好きなタイミングでロード	ファイル配置時にロード

学習用途ではCOPY INTOを利用することも多いですが、

本番環境ではSnowpipeが利用されるケースが多くあります。

Snowpipeを利用するメリット

自動でロードできる

ファイルを配置するだけでロードされます。

リアルタイム連携ができる

S3イベント通知を利用することで、

ファイル配置後すぐにロードが開始されます。

運用負荷が下がる

手動でSQLを実行する必要がありません。

定期バッチを作る必要もありません。

データパイプラインとの相性が良い

Snowpipeは

Stream
Task

と組み合わせることで、

リアルタイムデータパイプラインを構築できます。

Snowpipeを作成してみる

Snowpipeは

CREATE PIPE

で作成します。

CREATE PIPE sample_pipe
AS
COPY INTO sample_table
FROM @sample_stage;

このSQLでは、

sample_stageに配置されたファイルを

sample_tableへロードします。

※Auto-ingestを利用する場合は、この設定に加えてAWS側でS3イベント通知の設定も必要です。

よくある質問

Q. SnowpipeだけでS3へアクセスできますか？

いいえ。

Snowpipeは

External Stageを利用して

S3上のファイルを読み込みます。

Q. Snowpipeはどうやってファイルの配置を知るのですか？

S3イベント通知によって

「新しいファイルが配置された」

ことを検知します。

その通知を受けて、

Snowpipeが自動でロードを開始します。

Q. Snowpipeはリアルタイムですか？

はい。

S3イベント通知を利用することで、

ファイル配置後すぐにロードできます。

Q. SnowpipeはCOPY INTOを使っていますか？

はい。

内部では、

COPY INTO相当の処理が実行されています。

そのため、

ロード先テーブルやファイル形式は

COPY INTOと同じように設定します。

まとめ

Snowpipeは、

S3へ配置されたファイルを自動でSnowflakeへロードする機能です。

External Stageで指定したファイルを読み込み、

S3イベント通知によって起動し、

内部ではCOPY INTO相当の処理を実行します。

ポイントのおさらい

Snowpipeは自動ロード機能
S3イベント通知でファイル配置を検知する
External Stageを利用してファイルを読み込む
内部ではCOPY INTO相当の処理が動く
StreamやTaskと組み合わせてリアルタイムデータパイプラインを構築できる

Snowpipeを理解すると、

Snowflakeのデータパイプライン全体の流れがより理解しやすくなります。

参考

Snowflake公式ドキュメント（Snowpipe）
https://docs.snowflake.com/en/user-guide/data-load-snowpipe
Snowflake公式ドキュメント（CREATE PIPE）
https://docs.snowflake.com/en/sql-reference/sql/create-pipe
AWS公式ドキュメント（Amazon S3 Event Notifications）
https://docs.aws.amazon.com/AmazonS3/latest/userguide/EventNotifications.html