Amazon SQSのデッドレターキューの挙動を確認

はじめに

年明けから重いInputは気分的に乗らなかったので、なんとなく気になっていたSQSを軽ーく動作確認してみました。
ドキュメントを読んで初めてデッドレターキューなる存在を知ったので、挙動を確認して、自分用にまとめます。

結論

• 可視性タイムアウト期間を過ぎたメッセージはエラー扱いとなる。
• customerはPrimaryキュー側の「最大受信数」まで同じメッセージを受信することができる。
• 例えば最大受信数が1の場合、customerは1度だけ同じメッセージを受信することができる。
• 受信数が最大受信数をむかえ、かつエラーとなったメッセージは、次のメッセージがcustomerに受信されたタイミングでデッドレターキューに送信される。

①正常系

可視性タイムアウト期間内にメッセージを削除するパターンです。
次回リクエストでは次のメッセージが受信できます。
デッドレターキューへのメッセージの送信はありません。

②異常系

可視性タイムアウト期間外にメッセージを削除するパターンです。
削除は失敗します。
キューの最大受信回数設定によって、次回リクエストで受信するメッセージが変化します。

エラーが発生したメッセージが最大受信回数を迎えてない場合、同じメッセージが受信されます。
デッドレターキューへのメッセージの送信はありません。

エラーが発生したメッセージが最大受信回数を迎えていた場合、次のメッセージが受信されます。
デッドレターキューへは最大受信回数を迎えたメッセージが送信されます。

③異常系

削除コマンドを送信しなくても、可視性タイムアウト期間が過ぎればメッセージはエラー扱いとなります。
エラー後の挙動は②の異常系と同じです。

動作確認

キューの設定

Primaryと勝手に読んでいる、デッドレターを送信する側のキューの設定です。
デッドレターキューのArnを指定します。

デッドレターを受信する側のキューの設定です。

テスト用aws cliコマンド

send-message.sh

aws sqs send-message --queue-url ${PRIMARY_QUEUE_ENDPOINT} \
 --message-body "{\"type\": \"test\", \"index\": \"001\", \"text\": \"aaa\"}" \
 --message-deduplication-id $(openssl rand -base64 20 | tr -d '\n') \
 --message-group-id test_group \
 --output json

receive-message.sh

aws sqs receive-message --queue-url ${PRIMARY_QUEUE_ENDPOINT} \
 --attribute-names all \
 --output json

delete-message.sh

aws sqs delete-message --queue-url ${PRIMARY_QUEUE_ENDPOINT} \
--receipt-handle ${RECEIPT_HANDLE} \
--output json

簡単にですが3つのパターンで動作を確認してみました。

①正常系

1. デッドキューメッセージの取得
   →receive-messageコマンドでデッドキューメッセージを取得します。
   →何も受信しません。

2. Primaryキューメッセージの作成
   →send-messageコマンドでPrimaryキューメッセージを取得します。
   →作成されたmessageIdが取得できます。

3. Primaryキューメッセージの作成
   →send-messageコマンドでPrimaryキューメッセージを送信します。
   →作成されたmessageIdが取得できます。

4. Primaryキューメッセージの取得
   →receive-messageコマンドでPrimaryキューメッセージを取得します。
   →2. で作成したmessageの内容とReceiptHandleが取得できます。

5. Primaryキューメッセージの削除
   →delete-messageコマンドでPrimaryキューメッセージを削除します。
   →messageの内容とReceiptHandleが取得できます。
   →エラーがなければ、何も返却されません。

6. デッドキューメッセージの確認
   →receive-messageコマンドでデッドキューメッセージを取得します。
   →何も受信しません。

7. Primaryキューメッセージの取得
   →receive-messageコマンドでPrimaryキューメッセージを取得します。
   →3. で作成したmessageの内容とReceiptHandleが取得できます。

②異常系

1. デッドキューメッセージの取得
   →receive-messageコマンドでデッドキューメッセージを取得します。
   →何も受信しません。

2. Primaryキューメッセージの作成
   →send-messageコマンドでPrimaryキューメッセージを送信します。
   →作成されたmessageIdが取得できます。

3. Primaryキューメッセージの作成
   →send-messageコマンドでPrimaryキューメッセージを送信します。
   →作成されたmessageIdが取得できます。

4. Primaryキューメッセージの取得
   →receive-messageコマンドでPrimaryキューメッセージを取得します。
   →2. で作成したmessageの内容とReceiptHandleが取得できます。

5. 可視性タイムアウト期間待機
   →Primaryキューメッセージで設定した可視性タイムアウト期間待機します。

6. デッドキューメッセージの確認
   →receive-messageコマンドでデッドキューメッセージを取得します。
   →1つ目のメッセージはエラーになっていますが、まだデッドレターキューからは何も受信しません。

7. Primaryキューメッセージの削除
   →delete-messageコマンドでPrimaryキューメッセージを削除します。
   →期限超過のエラーが返却されます。

8. デッドキューメッセージの確認
   →receive-messageコマンドでデッドキューメッセージを取得します。
   →1つ目のメッセージはエラーになっていますが、まだデッドレターキューからは何も受信しません。

9. Primaryキューメッセージの取得
   →receive-messageコマンドでPrimaryキューメッセージを取得します。
   →3. で作成したmessageの内容とReceiptHandleが取得できます。

10. デッドキューメッセージの確認
    →receive-messageコマンドでデッドキューメッセージを取得します。
    →2. で作成したmessageの内容とIdが取得できます。

③異常系

～②と同じなので省略～

デッドレターキューの設定がない場合の挙動

※デッドレターキュー設定のない別キューを用意

1. キューメッセージの作成
   →send-messageコマンドでキューメッセージを送信します。
   →作成されたmessageIdが取得できます。

2. キューメッセージの取得
   →receive-messageコマンドでキューメッセージを取得します。
   →1. で作成したmessageの内容とReceiptHandleが取得できます。

3. 可視性タイムアウト期間待機
   →キューで設定した可視性タイムアウト期間待機します。

4. Primaryキューメッセージの取得
   →receive-messageコマンドでキューメッセージを取得します。
   →1. で作成したmessageの内容とReceiptHandleが取得できます。

デッドレターキューへの転送がないので、スキップされることなく、滞留してくれています。

終わりに

SQSのデッドレターキューを触ってみました。

こんな機能があることを知らなかったので最初はドキュメントを読むのが怖かったですが、使ってみるとなるほど便利だと思いました。

実は最初はSQS受信→lambdaの自動発火を試そうとしていたので、次はそっちを試してoutputできたらなと思います。