はじめに

この記事はAWS SAA試験勉強のための、Amazon SQSに関する知識のまとめです。

Amazon SQSとは

Amazon Simple Queue Service（SQS）は、フルマネージド型のメッセージキューサービスで、大量のメッセージを効率的にキューイングすることが可能です。

アップロードされたメディアファイルから複数のEC2インスタンスで非同期処理する場合のジョブ制御に用います。

コンポーネント障害によってコンポーネント間のメッセージが失われないようにするキューイング処理を実装します。

マイクロサービス、分散システム、およびサーバーレスアプリケーションの切り離して、疎結合化されたアーキテクチャ構成を実現します。

リクエスト数の増減が予測困難である状況を考慮してSQSキューを間に入れることで、より安定的に処理リクエストをキューに蓄積しつつ実行することができます
有料ユーザーには優先的に処理するキューを設定し、無料ユーザーにはデフォルトのキューを利用することが可能
フロントエンドからの依頼をSQSでキューイングし、バックエンドへ処理を連携かつ並列化することができます
SQSのキューイングを利用してコンポーネント間の連携をする際に、処理されなかったキューを4日間保持します
CloudWatchと連携してオートスケーリングによる負荷軽減を行えます
データプロデューサーとデータコンシューマーを分割することにより、アプリケーションを疎結合します

キューのポーリング

キューのポーリングは、メッセージキューシステムにおいて、キューに新しいメッセージが到着しているかを定期的にチェックし、それに応じて処理を行う方法です。コンシューマーはポーリングを利用しています。

FIFO

キュー(待ち行列)は、最初に格納したデータを最初に取り出すことができるFIFO(First-In First-Out)の処理に適したデータ構造です。

SNS FIFO トピックを導入することで、複数のサブスクライバーに厳密なメッセージの順序付けと重複を排除したメッセージ配信を提供できるようになりました。

可視性タイムアウト

可視性タイムアウト(DefaultVisibilityTimeout)とは、コンシューマーがキューのメッセージを取得してから、他のコンシューマーがそのメッセージを取得できない期間です。

ユーザがメッセージを取得した時に初めて、キューからメッセージを消します。

可視性タイムアウトを設定するには、ChangeMessageVisibility APIを使用して、適切な可視性タイムアウト値を設定することになります。
これを利用して、他のコンシューマーがメッセージを二重に取得しない待機時間を設定することで、Amazon RDSデータベースに重複データが保存されないようにできます。

デッドレターキュー

SQS で正常にメッセージが処理されなかった場合に未処理のメッセージを DLQ（デッドレターキュー）に移動することが出来ます。削除はしません。

SNSとSQSを連携させたファンアウト構成

SNSによるプッシュ通知によってリクエストをSQSキューに送信できます。
SNSでは送信側をパブリッシャー、受信側をサブスクライバーと言います。このようなデザインパターンをPub/Subと言ったりします。受け渡すメッセージはトピックと言います。

DynamoDBテーブルへの書込処理機能

Amazon SQSキューだけではDynamoDBテーブルへの書込処理機能を実現できません。SQSキューからメッセージをポーリングして、Lambda関数がデータ処理を実行する必要があります。

SQSアクセスポリシー

異なるAWSアカウントに対してSQSキューへのアクセス権限を付与するためには、SQSアクセスポリシーを作成して、そのAWSアカウントを指定してキューへのメッセージ送受信を許可する設定を行います。

SQSメッセージ重複排除ID

メッセージ重複排除 ID は、送信されたメッセージの重複排除に使用されるトークンです。特定のメッセージ重複除外ID を持つメッセージが正常に送信されると、同じメッセージ重複除外ID で送信されたメッセージは正常に受け入れられますが、5分間の重複除外間には配信されません。

EC2のAuto ScalingとSQSキュー

EC2のAuto ScalingとSQSキューが使用されるケースとしては、キューのサイズに基づくAuto Scalingのターゲット追跡スケーリングを設定して、CloudWatchで監視する方法が考えられます。