はじめに

SnowflakeでAmazon S3上のCSVファイルを読み込もうとすると、

Storage Integration

という設定が登場します。

初めて見ると、

「External Stageと何が違うの？」

「なぜStorage Integrationが必要なの？」

と思う方も多いのではないでしょうか。

本記事では、Storage Integrationの役割やExternal Stageとの違いを図解しながら解説します。

Storage Integrationとは？

Storage Integrationとは、

SnowflakeがAmazon S3などのクラウドストレージへ安全にアクセスするための認証設定

です。

簡単に言うと、

SnowflakeとS3を安全につなぐための橋渡し役

になります。

なぜStorage Integrationが必要なの？

例えば、SnowflakeがS3上にあるCSVファイルを読み込みたいとします。

しかし、

Snowflake
      │
      ▼
Amazon S3

この状態ではアクセスできません。

S3には、

「このアクセスは許可されているのか？」

という認証が必要だからです。

そこでStorage Integrationを利用します。

イメージ

Storage Integrationは、

IAMロールを利用してSnowflakeが安全にS3へアクセスできるようにします。

Storage Integrationには何が設定される？

主に次のような情報が設定されています。

IAMロール
許可するS3バケット
クラウドプロバイダー（AWSなど）
外部ストレージへのアクセス情報

つまり、

「どのS3へアクセスできるのか」

を管理する設定です。

External Stageとの違い

初心者が一番混同しやすいポイントです。

Storage Integration	External Stage
認証を担当	S3の場所を指定
IAMロールを利用	CSVファイルの場所を指定
一度作れば使い回せる	用途ごとに複数作成可能

イメージすると、

という役割になります。

データパイプラインではどこで使われる？

Storage Integrationは、

Snowflakeのデータパイプラインでは次の位置にあります。

Storage Integrationは、

データを保存するものでも処理するものでもありません。

External StageがS3へアクセスするために利用される認証設定です。

Storage Integrationを使うメリット

セキュリティが高い

アクセスキーをSnowflakeへ保存する必要がありません。

IAMロールによる認証を利用するため、安全に運用できます。

使い回せる

一度作成すれば、

複数のExternal Stageから利用できます。

AWS推奨の構成

現在は、

IAMロールを利用するStorage Integrationが推奨されています。

アクセスキーを直接設定する方法よりも、安全で管理しやすい構成です。

作成イメージ

Storage IntegrationはSQLで作成します。

CREATE STORAGE INTEGRATION my_s3_integration
TYPE = EXTERNAL_STAGE
STORAGE_PROVIDER = S3
ENABLED = TRUE
STORAGE_ALLOWED_LOCATIONS = ('s3://sample-bucket/');

作成後、

IAMロールとの信頼関係を設定します。

External Stageで利用する

Storage Integrationを作成したら、

External Stageから指定します。

CREATE STAGE sample_stage
URL='s3://sample-bucket/'
STORAGE_INTEGRATION=my_s3_integration
FILE_FORMAT=(TYPE=CSV);

これで、

SnowflakeはStorage Integrationを利用してS3へアクセスできるようになります。

よくある質問

Q. Storage IntegrationだけでCSVを読み込めますか？

いいえ。

Storage Integrationは認証設定です。

実際にファイルを読み込むには、

External StageやSnowpipe、COPY INTOなどを利用します。

Q. Storage Integrationは複数作成できますか？

はい。

用途ごとや環境ごと（開発・本番など）に複数作成できます。

Q. Storage Integrationは毎回作る必要がありますか？

いいえ。

一度作成すれば、

複数のExternal Stageで共有できます。

まとめ

Storage Integrationは、

SnowflakeがS3へ安全にアクセスするための認証設定です。

External StageやSnowpipeを利用する際には欠かせない重要な機能です。

ポイントのおさらい

Storage Integrationは認証を担当する
IAMロールを利用してS3へアクセスする
External Stageとは役割が異なる
一度作成すれば複数のStageで利用できる
AWS推奨の認証方法

Storage Integrationの役割を理解すると、Snowflakeのデータパイプライン全体の構成も理解しやすくなります。

参考

Snowflake公式ドキュメント（Storage Integrations）
https://docs.snowflake.com/en/user-guide/data-load-s3-config-storage-integration