<やりたいこと>
「通知統合」を使うことで、Snowpipeでエラーが発生した時に自動でエラー通知できるようになります。
今後、Snowpipeを利用する際に備えて今回の記事に「通知統合」の設定手順をまとめておこうと思いました。
「通知統合」を有効化すると、Snowpipeでエラー発生後、以下①～④の流れで、AWSのSNSを利用してエラー通知できます。
① Snowpipeでエラー発生
② エラーが「通知統合」に通知される
③ 「通知統合」がAWSのSNSトピックにエラーを通知する
④ SNSサブスクリプションによりシステム運用者にエラーをメール通知する
<前提条件>
1.SnowflakeのエディションはStandard以上であること。
2.AWSとSnowflakeが同じリージョンであること。
3.Snowpipeが利用できること。
<作業手順>
① AWSでSNSを設定します。
② AWSでSNSの利用を許可するためのIAMロールを作成します。
③ Snowflakeで通知統合を作成します。
④ Snowpipeでエラー通知を有効化します。
⑤ AWSでIAMロールの信頼関係を修正します。
① AWSでSNSを設定します。
①-1 SNSトピックを作成します。
以下の項目を指定し、その他の設定項目はデフォルトとします。
・タイプ：スタンダード
・名前：任意
・表示名：任意
①-2 SNSサブスクリプションを作成し、メール通知させるようにします。
以下の項目を指定し、その他の設定項目はデフォルトとします。
・プロトコル：Eメール
・エンドポイント：エラーの通知先メールアドレス
①-3 SNSトピックのARNを取得します。
SNSトピックのARNを後述の手順で使用するので、メモ帳に控えます。
② AWSでSNSの利用を許可するためのIAMロールを作成します。
②-1 SNSトピックへの通知を許可するIAMポリシーを作成します。
JSONエディターに以下のポリシーをコピー&ペーストし、「Resource」に手順①-3でメモ帳に控えたSNSトピックのARNを適用します。
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"sns:Publish"
],
"Resource": "arn:aws:sns:ap-northeast-1:<AWSのアカウントID>:<SNSトピック名>"
}
]
}
②-2 IAMロールを作成します。
②-2-1 信頼ポリシーを作成します。
JSONエディターにて信頼ポリシーを作成します。
以下の項目には、ダミー値を指定します。(後述の手順で修正します）
・Principal：現在ログインしているAWSアカウントの「アカウントID」
・Condition：0000
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "Statement1",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::<現在ログインしているAWSアカウントのID>:root"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"sts:ExternalId": [
"0000"
]
}
}
}
]
}
②-2-2 IAMロールにSNSの使用を許可するIAMポリシーを紐付けます。
手順②-1で作成したIAMポリシーを紐付けます。
②-3 IAMロールのARNを取得します。
IAMロールのARNを後述の手順で使用するので、メモ帳に控えます。
③ Snowflakeで通知統合を作成します。
③-1 SnowflakeのWebインターフェースにログインし、CREATE NOTIFICATION INTEGRATIONを実行して通知統合を作成します。
CREATE NOTIFICATION INTEGRATION <通知統合の名称>
ENABLED = true
TYPE = QUEUE
NOTIFICATION_PROVIDER = AWS_SNS
DIRECTION = OUTBOUND
AWS_SNS_TOPIC_ARN = '<手順①-3でメモ帳に控えたSNSトピックのARN>'
AWS_SNS_ROLE_ARN = '<手順②-3でメモ帳に控えたIAMロールのARN>'
③-2 DESC NOTIFICATION INTEGRATIONをIAMユーザーのARNとExternalIDを取得します。
DESC NOTIFICATION INTEGRATIONを実行して、実行結果に表示される以下の値をメモ帳に控えます。
DESC NOTIFICATION INTEGRATION <作成した「通知統合」の名称>;
・SF_AWS_IAM_USER_ARN
・SF_AWS_EXTERNAL_ID
④ Snowpipeでエラー通知を有効化します。
④-1 GRANT USAGEを実行してSnowpipeを使用するユーザーに「通知統合」の使用権限を付与します。
GRANT USAGE ON INTEGRATION <作成した「通知統合」の名称> TO ROLE <Snowpipeを使用するSnowpflakeユーザー>;
④-2 既存のSnowpipeを再作成してエラー通知を有効にします。
既存のSnowpipeで「通知統合」を有効化させるため、一度Drop Pipeで削除した後、
Create Pipeで「通知統合」を指定して再作成します。
drop pipe <「通知統合」を有効にするSnowpipeの名称>;
create pipe <「通知統合」を有効にするSnowpipeの名称>
auto_ingest = true
error_integration = <手順③-1で作成した「通知統合」の名称>
as
copy into <Snowpipeのロード先のテーブル名>
from @<外部ステージの名称>;
⑤ AWSでIAMロールの信頼関係を修正します。
AWSのIAMコンソールを開き、「信頼関係」の以下の部分を修正します。
・Principal：手順③-2でメモ帳に控えた「SF_AWS_IAM_USER_ARN」の値
・ExternalID：手順③-2でメモ帳に控えた「SF_AWS_EXTERNAL_ID」の値
<検証>
以下①～③の手順にて意図的にSnowpipeでエラーを発生させ、「通知統合」によりエラー通知されることを検証します。
① Snowpipeのロード先のテーブル定義を確認します。
② Snowpipeのロード先のテーブル定義に一致しないテストデータを用意し、外部ステージの参照先S3バケットにファイルをアップロードします。
③ SNSからSnowpipeのエラーがメール通知されることを確認します。
① Snowpipeでファイルのロード先のテーブルの定義を確認します。
select get_ddl('table','Snowpipeでのロード先のテーブル名');
② Snowpipeのロード先のテーブル定義に一致しないテストデータを用意し、外部ステージの参照先S3バケットにファイルをアップロードします。
テーブル定義に一致しないテストデータを作成し、意図的にエラーを発生させます。
③ SNSからSnowpipeのエラーがメール通知されることを確認します。
SNSサブスクリプションで設定したメールには、エラーの原因とエラーを引き起こしたファイルが記載されます。
おわりに
Snowpipeによりテーブルへのデータのロードが自動化できるがゆえに、エラーの発生をどのようにして検知するかが課題でした。「通知統合」によりエラー検知も可能になり、
Snowpipeの運用を考えた非常に便利な機能であると思いました。
ご案内
株式会社ジールでは、「ITリテラシーがない」「初期費用がかけられない」「親切・丁寧な支援がほしい」「ノーコード・ローコードがよい」「運用・保守の手間をかけられない」などのお客様の声を受けて、オールインワン型データ活用プラットフォーム「ZEUSCloud」を月額利用料にてご提供しております。
ご興味がある方は是非下記のリンクをご覧ください：
https://www.zdh.co.jp/products-services/cloud-data/zeuscloud/?utm_source=qiita&utm_medium=referral&utm_campaign=qiita_zeuscloud_content-area