はじめに
Amazon CloudWatch イベントが、Amazon SQS FIFO をイベントターゲットとして追加
CloudWatch イベントが Amazon SQS FIFO をサポートするようになり、
イベントをネイティブに SQS FIFO キューにルーティングできるようになりました。
CloudWatch イベントでのターゲットの使用に関する詳細については、
こちらのドキュメントにアクセスしてください。
ということなので、
とりあえずS3Putイベントをツッコんでみました。
SQSを構成する
まずはFIFOキューを作成します。
FIFOは東京リージョンには対応していないのでバージニア北部を使います。
ここではキュー名は「TestQueue.fifo」としておきます。
FIFOの場合はサフィックスに「.fifo」と付けないと怒られて作成できません。
キューの属性で「コンテンツに基づく重複排除」にチェックを入れて、
それ以外はデフォルト値のままにします。
右下の「キューの作成」ボタンを押すとキューが完成です。
イベントを発生させるためのバケットを作成します
とりあえずツッコむためにリージョンはバージニア北部に。
CloudWatchにルールを作る
CloudWatchイベントでS3Putイベントを拾うようにルールを作ります。
警告の通りCloudTrailはObjectPutが拾えるように設定しておきましょう。
そして本命の右側！
ターゲットに作成しておいたFIFOキューを追加します。
名前は適当に。
作成できました。
イベントを発生させてみる
準備が整ったのでイベントをキューにツッコむべく、
バケットにファイルをアップロードしてみます
SQSコンソールでキューを表示してみると…
入っていました！
SQSを使うこと自体が初めてなのでちょっと感動。
最後に
過去にLambdaでObjectPutを受けて処理することがありましたが、
スロットリングに悩まされていました。
そのときにこの仕組があればまた違った結果があったかもしれません。
東京リージョンだったんですけど。
SQS FIFOは複数回実行されないことが保証されているので、
イベントを受けるのに相性がいいと思います。
東京に来ていないのが悔やまれますね。
トラブルシューティング
FIFOキューにテスト出力できない
キュー作成後にテスト出力しようとしてcliを叩いたけどこのようなエラーメッセージが出るとき
>aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/hoghog/TestQueue.fifo --message-group-id "Hellow" --message-body "Hellow FIFO"
An error occurred (AWS.SimpleQueueService.NonExistentQueue) when calling the SendMessage operation: The specified queue does not exist for this wsdl version.
queue-urlにリージョンが入っているのにcliのデフォルトリージョンがus-east-1以外になっているのが原因のようです
aws configure
でキューのあるリージョンを指定すると治ります。
イベントがキューに入らないんだけど？
cliからキュー作成をしようとして以下のエラーメッセージが出ている場合は、
キューの設定で「コンテンツに基づく重複排除」にチェックが入っていません。
>aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/hoghog/TestQueue.fifo --message-group-id "Hellow" --message-body "Hellow
An error occurred (InvalidParameterValue) when calling the SendMessage operation: The queue should either have ContentBasedDeduplication enabled or MessageDeduplicationId provided explicitly
イベントを受ける際にMessageDeduplicationIdが渡されてこないからかもしれません。
たぶん。