Aurora のリーダーで AuroraReplicaLag のアラートが鳴り、グラフを開いたものの次の操作が決まらない。何ミリ秒を閾値にすべきか根拠がなく、とりあえず設定した値をそのまま使い続けている。クラスター単位のメトリクスしか監視しておらず、どのリーダーが遅れているのか分からない。このいずれかに当てはまる場合、監視の設計を見直す順番を決めておくと調査が早く進みます。
この記事は「Auroraレプリケーション遅延の監視|AuroraReplicaLag」の一部を、話題を絞って書き直したものです。Aurora の共有ストレージと redo 転送によってラグが生まれる仕組み、ラグが増えたときの切り分け手順、CLI でのメトリクス取得とアラート実装は、ブログの完全版にまとめています: Auroraレプリケーション遅延の監視|AuroraReplicaLag
起点はインスタンス単位の AuroraReplicaLag
CloudWatch の AWS/RDS ネームスペースには、レプリカ遅延に関するメトリクスが3種類あります。
| メトリクス | 単位 | 粒度 | 主な用途 |
|---|---|---|---|
AuroraReplicaLag |
ミリ秒 | インスタンス(DBInstanceIdentifier) |
個々のリーダーの遅延を特定する |
AuroraReplicaLagMaximum |
ミリ秒 | クラスター(DBClusterIdentifier) |
クラスター内で最も遅れているリーダーの値 |
AuroraReplicaLagMinimum |
ミリ秒 | クラスター(DBClusterIdentifier) |
クラスター内で最も遅れが小さいリーダーの値 |
最初に見るのは、リーダーインスタンス単位の AuroraReplicaLag の時系列です。クラスター単位の Maximum と Minimum はクラスター全体の傾向を掴むのに向いていますが、どのインスタンスが遅れているかは判別できません。リーダーを複数台並べた構成では、1台だけ遅れているのか全台が一様に遅れているのかで、疑う対象が変わります。
1台だけ遅い場合は、そのインスタンスに固有の要因を調べます。インスタンスクラス、そのリーダーに集中しているクエリ負荷、そのインスタンスへの運用操作が候補になります。全台が一様に遅い場合は、ライター側の書き込み負荷を疑ってください。この分岐を調査の最初に作れるかどうかで、原因特定までの時間が変わります。
閾値はアプリが許容できる読み取りの鮮度から逆算する
AuroraReplicaLag には、一律で何ミリ秒以内なら正常という推奨値がありません。許容できる遅延はアプリケーション要件だけで決まるため、汎用的な基準を作れないからです。
同じクラスターでも要件は分かれます。更新直後のデータをリーダーから読み返す画面は、遅延にほぼ耐えられません。そもそもリーダーを使うべきでない可能性もあります。日次集計のダッシュボードなら、数秒から数十秒の遅延でも業務影響は出ません。全文検索や一覧の2ページ目以降は中間的で、許容できる鮮度をプロダクト側と決める必要があります。
そのため、閾値は次の順番で決めます。まずアプリケーションごとに許容できる読み取りの鮮度を言語化します。この API はリーダーから読むが、更新から X 秒以内に反映されていればよい、という形まで落とします。次に通常運用時とバッチ実行時それぞれのラグを実測し、ベースラインを把握します。最後に、ベースラインより十分に高く、かつ要件の許容値より低い範囲にアラート閾値を置きます。
要件の許容値をそのまま閾値にすると、アラートが鳴った時点ですでに業務影響が出ています。逆にベースラインぎりぎりに寄せると、平常時のゆらぎで鳴り続け、アラートが無視されるようになります。2つの数値に挟まれた範囲から選ぶのが実務的な設定です。
すでにアラートが鳴っているときの初動
- 対象クラスターの全リーダーの
AuroraReplicaLagを重ねて描画し、1台だけか全台かを判別する - 同じ時間帯のライター側の書き込み系メトリクス(
WriteThroughput、WriteIOPS、DMLThroughput、CommitLatencyなど)を並べ、書き込み負荷のスパイクと一致しているか確認する - バッチ処理、大量 INSERT/UPDATE、インデックス再作成、データ移行などのジョブ実行時刻と突き合わせる
- RDS のイベント履歴と API 呼び出し履歴を確認し、インスタンスの削除や名称変更、スケーリングが同時刻に実行されていないか調べる
原因は手順2と手順3のどちらかに現れるケースが多くあります。
元記事で扱っている内容
- Aurora の共有ストレージと redo 転送の仕組みから、なぜリーダーにラグが生じるのかを説明しています
- PostgreSQL のストリーミングレプリケーションのラグとの違いを整理し、同じ考え方で監視すると誤解する点を挙げています
- ラグが増えたときの切り分け手順を、ライター側とリーダー側に分けて順を追って解説しています
- CLI でのメトリクス取得方法と、閾値や評価期間を含むアラート設計の実装例を載せています
- 再発防止のための運用チェックリストをまとめています