0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

SQS FIFOキューの順序保証と重複排除:MessageGroupIdをJavaで設計する

0
Posted at

個人開発しているもの

日々の開発で得た知識を発信しながら、「あったら便利」「作ってみたい」と思ったアイデアを形にしています。

これまでに、グループ旅行アプリ Trip Supporter、スコア管理サービス PointPia、リアルタイム共有サービス JustNow などを開発しました。

さらに、刺繍やオリジナルキャラクターを中心としたアパレルブランド MAD TOMMY WITH... も運営しています。

開発したサービスや技術記事は chicchi.work で紹介しています。


注文の状態変更を非同期で処理するシステムを考えます。ある注文に対して「決済済み」の処理より先に「発送済み」の処理が走ると、DBの状態や通知が不整合になるかもしれません。

Amazon SQS(Simple Queue Service)は、送信側と処理側をメッセージでつなぐマネージドサービスです。SQSのFIFO(First-In-First-Out)キューは、同じグループに属するメッセージの処理順を保つために使えます。

ただし、FIFOを選ぶだけで「業務処理が絶対に1回だけ実行される」わけではありません。順序保証と、重複送信の抑制と、処理側の冪等性を分けて設計する必要があります。

まず2つのIDを区別する

FIFOキューの送信で重要な属性は次の2つです。

属性 何を表す? 注文イベントでの例
MessageGroupId どのメッセージ同士の順番を守るか order-42
MessageDeduplicationId どの送信を同一イベントとみなすか event-7c9

MessageGroupId が同じメッセージはグループ内で順序を保ち、同じグループの後続メッセージは先行メッセージの処理が完了するまで次へ進めません。異なるグループ同士は並列処理できます。

group=order-42:  注文受付 → 決済済み → 発送済み
group=order-73:  注文受付 → キャンセル
                  ↑ 別グループなので並列に処理できる

全イベントに MessageGroupId = "orders" と固定すると、処理が実質的に一列に並び、スループット(単位時間当たりの処理量)のボトルネックになります。一方、イベントごとにランダムなグループIDを割り振ると、同じ注文に対する順番を守れません。

したがって、業務上の順序単位が「注文ごと」なら、注文IDから一貫してグループIDを作るのが基本です。注文全体の厳密な順序が不要なら、別の粒度に分けることも検討します。

なお、FIFOが守るのはSQSに到着した順序です。複数の送信元が競合している場合、DBで発生したイベントの時刻順を自動的に再構成してくれるわけではありません。先後関係が重要なら、送信側で同じ集約(注文など)のイベント送出を直列化する設計も必要です。

Java(AWS SDK for Java 2.x)から送信する

キュー名は .fifo で終わるものとします。既存のSQSクライアント、キューURL、注文ID、イベントID、JSON本文を受け取る送信クラスの例です。

import software.amazon.awssdk.services.sqs.SqsClient;
import software.amazon.awssdk.services.sqs.model.SendMessageRequest;

public final class OrderEventPublisher {
    private final SqsClient sqs;
    private final String queueUrl;

    public OrderEventPublisher(SqsClient sqs, String queueUrl) {
        this.sqs = sqs;
        this.queueUrl = queueUrl;
    }

    public void publish(String orderId, String eventId, String jsonBody) {
        var request = SendMessageRequest.builder()
                .queueUrl(queueUrl)
                .messageBody(jsonBody)
                .messageGroupId("order-" + orderId)
                .messageDeduplicationId(eventId)
                .build();

        sqs.sendMessage(request);
    }
}

ここで eventId は、同じ業務イベントを再送する際に変えない識別子です。HTTPリクエストがタイムアウトしたからといって新しいUUIDを毎回作ると、SQSからは別イベントに見えます。

逆に、新しい状態変更なのに注文IDを MessageDeduplicationId に流用すると、同じ注文の正当な別イベントまで重複と判定される危険があります。

送信元でイベントをDBに永続化する「Outboxパターン」などを使う場合も、そのイベントレコードのIDを再送時に再利用すると整合性を取りやすくなります。Outboxパターンとは、業務データの更新と送信予定イベントの保存を同じDBトランザクションで行い、別プロセスが後からイベントを配送する方式です。

5分の重複排除を過信しない

SQS FIFOでは、同じ MessageDeduplicationId に対する重複排除の間隔は5分です。同じIDをこの間隔内に送ると、後続の送信要求が成功したように見えても、重複メッセージは配信されません。受信・削除した後も、その間隔中はIDが追跡されます。

ただし、5分を過ぎて再送すれば再び受け付けられ得ます。さらに、コンシューマー側で処理が成功しても DeleteMessage の呼び出しに失敗した場合などには、可視性タイムアウト後に再受信する可能性があります。

つまり、次の2つを混同しないことが重要です。

  • 送信側の重複排除:MessageDeduplicationId によって、限られた時間内の同一IDの重複送信を抑制する
  • 処理側の冪等性:メッセージが再び届いても、同じ業務更新や外部送信を二重実行しない

冪等性(べきとうせい)とは、同じ操作を繰り返しても、業務上の結果が変わらない性質です。

処理側はDBの一意制約で守る

例えばPostgreSQLなら、処理済みイベントのIDに一意制約を付けます。

CREATE TABLE processed_order_events (
    event_id text PRIMARY KEY,
    processed_at timestamptz NOT NULL DEFAULT now()
);

コンシューマーは次の順番で処理します。

  1. DBトランザクションを開始する
  2. INSERT INTO processed_order_events(event_id) VALUES (?) ON CONFLICT DO NOTHING を実行する
  3. 挿入された行数が0行なら、すでに処理済みなので業務更新を省略する
  4. 1行なら、同じDBトランザクション内で注文の状態を更新する
  5. コミットが成功してからSQSの DeleteMessage でメッセージを削除する

処理済みIDの記録と業務更新を必ず同じトランザクションに含めるのがポイントです。IDだけ先に確定させると、後続の業務更新が失敗した際に「未処理なのに処理済み」となります。

外部APIへの通知など、DBトランザクションに含められない副作用がある場合は、通知先の冪等キーやOutboxなどを追加して設計します。DBの一意制約だけであらゆる外部副作用を防げるわけではありません。

なお、以前の記事(SQSの可視性タイムアウト) で扱ったように、処理時間とVisibility Timeoutの設定も合わせて確認します。

キュー設定:重複排除を明示する

CloudFormationでFIFOキューを定義する最小構成です。CloudFormationはAWSリソースをYAML/JSONとして管理する仕組みです。

Resources:
  OrderEventsQueue:
    Type: AWS::SQS::Queue
    Properties:
      QueueName: order-events.fifo
      FifoQueue: true
      ContentBasedDeduplication: false

ContentBasedDeduplication: false のときは、送信側で MessageDeduplicationId を指定します。true にすると、本文のハッシュから重複IDを生成できますが、メッセージ属性はハッシュ対象になりません。業務イベントの識別子を明示的に管理したい場合は、今回のようにIDを指定する方式がわかりやすいです。

大量の独立したグループを扱う場合は、高スループットFIFOの DeduplicationScope: messageGroup と FifoThroughputLimit: perMessageGroupId も検討できます。ただし、キュー全体ではなくグループ単位で重複排除のスコープが変わるため、同一イベントの重複判定をグループをまたいで期待しないようにします。

StandardとFIFOをどう使い分ける?

要件 選択の目安
順序保証が不要で高い並列性を重視 Standardキュー
注文ごと・ユーザーごとなど、グループ内の順序が必要 FIFOキュー
重複によるDB更新や課金を防ぎたい どちらでもコンシューマーの冪等化が必要
全メッセージの厳密な単一順序が必要 FIFOの単一グループを使えるが、並列性とのトレードオフに注意

運用時は特定のグループだけに処理が偏っていないか、失敗したメッセージが後続を止めていないかを監視します。DLQ(Dead-Letter Queue:繰り返し失敗するメッセージの退避先)への移動で業務上の順序が崩れても問題ないかも設計時に検討します。

まとめ

SQS FIFOキューの設計では、順序を守る単位は MessageGroupId、同一送信を識別する単位は MessageDeduplicationId、業務の二重実行を防ぐのは処理側の冪等性と役割を分けると整理しやすくなります。

SQSの機能だけで完結させず、イベントIDの発行・保存、送信順、DBトランザクション、可視性タイムアウトを一体で設計するのが実務では重要です。

参考資料(AWS公式)

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?