Help us understand the problem. What is going on with this article?

AmazonCloudWatchイベントがSQS FIFOに対応したようなのでただただツッコんでみただけの話

More than 1 year has passed since last update.

はじめに

Amazon CloudWatch イベントが、Amazon SQS FIFO をイベントターゲットとして追加

CloudWatch イベントが Amazon SQS FIFO をサポートするようになり、
イベントをネイティブに SQS FIFO キューにルーティングできるようになりました。
CloudWatch イベントでのターゲットの使用に関する詳細については、
こちらのドキュメントにアクセスしてください。

ということなので、
とりあえずS3Putイベントをツッコんでみました。

SQSを構成する

まずはFIFOキューを作成します。
FIFOは東京リージョンには対応していないのでバージニア北部を使います。
image.png
ここではキュー名は「TestQueue.fifo」としておきます。
FIFOの場合はサフィックスに「.fifo」と付けないと怒られて作成できません。

キューの属性で「コンテンツに基づく重複排除」にチェックを入れて、
それ以外はデフォルト値のままにします。
image.png

右下の「キューの作成」ボタンを押すとキューが完成です。
image.png

イベントを発生させるためのバケットを作成します

とりあえずツッコむためにリージョンはバージニア北部に。
image.png

CloudWatchにルールを作る

CloudWatchイベントでS3Putイベントを拾うようにルールを作ります。
image.png
警告の通りCloudTrailはObjectPutが拾えるように設定しておきましょう。

そして本命の右側!
ターゲットに作成しておいたFIFOキューを追加します。
image.png

名前は適当に。
image.png

作成できました。
image.png

イベントを発生させてみる

準備が整ったのでイベントをキューにツッコむべく、
バケットにファイルをアップロードしてみます
image.png

SQSコンソールでキューを表示してみると…
image.png
入っていました!
SQSを使うこと自体が初めてなのでちょっと感動。

最後に

過去にLambdaでObjectPutを受けて処理することがありましたが、
スロットリングに悩まされていました。
そのときにこの仕組があればまた違った結果があったかもしれません。
東京リージョンだったんですけど。
SQS FIFOは複数回実行されないことが保証されているので、
イベントを受けるのに相性がいいと思います。
東京に来ていないのが悔やまれますね。

トラブルシューティング

FIFOキューにテスト出力できない

キュー作成後にテスト出力しようとしてcliを叩いたけどこのようなエラーメッセージが出るとき

>aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/hoghog/TestQueue.fifo --message-group-id "Hellow" --message-body "Hellow FIFO"
An error occurred (AWS.SimpleQueueService.NonExistentQueue) when calling the SendMessage operation: The specified queue does not exist for this wsdl version.

queue-urlにリージョンが入っているのにcliのデフォルトリージョンがus-east-1以外になっているのが原因のようです

aws configure

でキューのあるリージョンを指定すると治ります。

イベントがキューに入らないんだけど?

cliからキュー作成をしようとして以下のエラーメッセージが出ている場合は、
キューの設定で「コンテンツに基づく重複排除」にチェックが入っていません。

>aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/hoghog/TestQueue.fifo --message-group-id "Hellow" --message-body "Hellow
An error occurred (InvalidParameterValue) when calling the SendMessage operation: The queue should either have ContentBasedDeduplication enabled or MessageDeduplicationId provided explicitly

イベントを受ける際にMessageDeduplicationIdが渡されてこないからかもしれません。
たぶん。

LightSilver7
プログラミング能力に乏しい運用マンがコピペで幸せになる社会になってほしい。
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした