0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AuroraReplicaLagの閾値を何msにするか決める順番

0
Posted at

Aurora のリーダーで AuroraReplicaLag のアラートが鳴り、グラフを開いたものの次の操作が決まらない。何ミリ秒を閾値にすべきか根拠がなく、とりあえず設定した値をそのまま使い続けている。クラスター単位のメトリクスしか監視しておらず、どのリーダーが遅れているのか分からない。このいずれかに当てはまる場合、監視の設計を見直す順番を決めておくと調査が早く進みます。

この記事は「Auroraレプリケーション遅延の監視|AuroraReplicaLag」の一部を、話題を絞って書き直したものです。Aurora の共有ストレージと redo 転送によってラグが生まれる仕組み、ラグが増えたときの切り分け手順、CLI でのメトリクス取得とアラート実装は、ブログの完全版にまとめています: Auroraレプリケーション遅延の監視|AuroraReplicaLag

起点はインスタンス単位の AuroraReplicaLag

CloudWatch の AWS/RDS ネームスペースには、レプリカ遅延に関するメトリクスが3種類あります。

メトリクス 単位 粒度 主な用途
AuroraReplicaLag ミリ秒 インスタンス(DBInstanceIdentifier) 個々のリーダーの遅延を特定する
AuroraReplicaLagMaximum ミリ秒 クラスター(DBClusterIdentifier) クラスター内で最も遅れているリーダーの値
AuroraReplicaLagMinimum ミリ秒 クラスター(DBClusterIdentifier) クラスター内で最も遅れが小さいリーダーの値

最初に見るのは、リーダーインスタンス単位の AuroraReplicaLag の時系列です。クラスター単位の Maximum と Minimum はクラスター全体の傾向を掴むのに向いていますが、どのインスタンスが遅れているかは判別できません。リーダーを複数台並べた構成では、1台だけ遅れているのか全台が一様に遅れているのかで、疑う対象が変わります。

1台だけ遅い場合は、そのインスタンスに固有の要因を調べます。インスタンスクラス、そのリーダーに集中しているクエリ負荷、そのインスタンスへの運用操作が候補になります。全台が一様に遅い場合は、ライター側の書き込み負荷を疑ってください。この分岐を調査の最初に作れるかどうかで、原因特定までの時間が変わります。

閾値はアプリが許容できる読み取りの鮮度から逆算する

AuroraReplicaLag には、一律で何ミリ秒以内なら正常という推奨値がありません。許容できる遅延はアプリケーション要件だけで決まるため、汎用的な基準を作れないからです。

同じクラスターでも要件は分かれます。更新直後のデータをリーダーから読み返す画面は、遅延にほぼ耐えられません。そもそもリーダーを使うべきでない可能性もあります。日次集計のダッシュボードなら、数秒から数十秒の遅延でも業務影響は出ません。全文検索や一覧の2ページ目以降は中間的で、許容できる鮮度をプロダクト側と決める必要があります。

そのため、閾値は次の順番で決めます。まずアプリケーションごとに許容できる読み取りの鮮度を言語化します。この API はリーダーから読むが、更新から X 秒以内に反映されていればよい、という形まで落とします。次に通常運用時とバッチ実行時それぞれのラグを実測し、ベースラインを把握します。最後に、ベースラインより十分に高く、かつ要件の許容値より低い範囲にアラート閾値を置きます。

要件の許容値をそのまま閾値にすると、アラートが鳴った時点ですでに業務影響が出ています。逆にベースラインぎりぎりに寄せると、平常時のゆらぎで鳴り続け、アラートが無視されるようになります。2つの数値に挟まれた範囲から選ぶのが実務的な設定です。

すでにアラートが鳴っているときの初動

  1. 対象クラスターの全リーダーの AuroraReplicaLag を重ねて描画し、1台だけか全台かを判別する
  2. 同じ時間帯のライター側の書き込み系メトリクス(WriteThroughput、WriteIOPS、DMLThroughput、CommitLatency など)を並べ、書き込み負荷のスパイクと一致しているか確認する
  3. バッチ処理、大量 INSERT/UPDATE、インデックス再作成、データ移行などのジョブ実行時刻と突き合わせる
  4. RDS のイベント履歴と API 呼び出し履歴を確認し、インスタンスの削除や名称変更、スケーリングが同時刻に実行されていないか調べる

原因は手順2と手順3のどちらかに現れるケースが多くあります。

元記事で扱っている内容

  • Aurora の共有ストレージと redo 転送の仕組みから、なぜリーダーにラグが生じるのかを説明しています
  • PostgreSQL のストリーミングレプリケーションのラグとの違いを整理し、同じ考え方で監視すると誤解する点を挙げています
  • ラグが増えたときの切り分け手順を、ライター側とリーダー側に分けて順を追って解説しています
  • CLI でのメトリクス取得方法と、閾値や評価期間を含むアラート設計の実装例を載せています
  • 再発防止のための運用チェックリストをまとめています

Auroraレプリケーション遅延の監視|AuroraReplicaLag

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?