Auroraクラスターのスペックを上げようとして、マネジメントコンソールからライターインスタンスのクラスを変更した結果、アプリケーションからのコミットが数分間通らなくなった。こうした事象は、Auroraがクラスター構成なので自動でフェイルオーバーして逃がしてくれるはず、という前提から生まれます。実際には計画的なインスタンスクラス変更でフェイルオーバーは発生せず、書き込み窓口が停止したまま再起動完了を待つことになります。なぜそうなるのかを、Auroraのアーキテクチャとバッファキャッシュの仕組みから整理します。
この記事は「Auroraインスタンスクラス変更の手順|ダウンタイム最小化」の一部を、話題を絞って書き直したものです。CCM対象リーダーを先に変更して手動フェイルオーバーで切り替える具体的な作業手順や、検証環境で書き込み中断時間を実測する方法は、ブログの完全版にまとめています: Auroraインスタンスクラス変更の手順|ダウンタイム最小化
インスタンスクラスの変更は必ず再起動を伴う
Auroraはストレージ層をクラスターで共有し、その上にコンピュートノードとしてDBインスタンスが乗る構造です。インスタンスクラスの変更はコンピュートノード側だけの操作で、別のスペックのホストへ載せ替えます。対象インスタンスは必ず一度停止します。ストレージ上のデータを作り直すわけではないため、データサイズに比例して時間が延びる種類の作業ではありません。ただし無停止でもありません。
停止の影響は、変更対象がどちらかで大きく変わります。リーダーを変更する場合、止まるのはそのリーダーだけです。リーダーエンドポイント経由の参照クエリは他のリーダーへ振り分けられ、ライターは稼働を続けるので書き込みは止まりません。ライターを変更する場合、止まるのは唯一の書き込み窓口です。再起動が完了してインスタンスがavailableへ戻るまで、トランザクションをコミットできません。
計画的な変更ではフェイルオーバーが起きない
ライターのインスタンスクラスを変更しても、Auroraは自動でフェイルオーバーしません。計画的なインスタンス変更を障害として扱わないためです。クラスターはライターが一時的に停止している状態を維持し、変更が終わると同じインスタンスがライターとして戻ります。
したがってライターを直接変更したときの書き込み停止時間は、ライターの再起動から新しいホストでの起動完了までの全区間になります。手動フェイルオーバーを使う方式なら、停止するのはクラスターエンドポイントの指す先が旧ライターから新ライターへ切り替わる区間だけです。両者は原理的に長さの異なる処理で、後者のほうが短く収まると期待できます。リーダーを先に新しいクラスへ上げ、そこへ書き込みを寄せる順序が推奨されるのはこのためです。
CCMがフェイルオーバー直後の遅さを抑える
Auroraのストレージは共有ですが、バッファキャッシュはインスタンスごとに独立しています。ライターは長時間の稼働でホットなページを抱え、リーダーは参照クエリの傾向に応じた別の内容を保持する状態が普通です。
この状態でフェイルオーバーすると、新ライターは旧ライターのワーキングセットをキャッシュに持っていません。直後はストレージ層への読み取りが急増し、クエリのレイテンシが一時的に悪化します。フェイルオーバー自体は短時間で終わったのにアプリケーションがしばらく重い、という現象の多くはここから生じます。
Cluster Cache Management(CCM)は、キャッシュが冷えた状態からの立ち上がりを短くするAurora PostgreSQLの機能です。ライターがどのページをキャッシュに保持しているかという情報をPromotion Tier 0のリーダーが追跡し、同じページを自分のバッファキャッシュへ読み込んでウォームな状態に保ちます。フェイルオーバー後、新ライターは最初からホットなページを手元に持った状態で書き込みを引き受けられます。
CCMの有効化はクラスターパラメータで制御します。
apg_ccm_enabled
ライターとTier 0リーダーのクラスをそろえる
CCMは、ライターとTier 0のリーダーが同じインスタンスクラス、つまりインスタンスタイプとサイズが同一であることを前提とします。理由はバッファキャッシュのサイズです。キャッシュサイズはインスタンスのメモリ量に依存するため、ライターが大きくTier 0リーダーが小さい構成では、リーダー側がライターのワーキングセットを載せきれません。逆にリーダーが大きければ容量が余ります。ライターのキャッシュ内容を同じ状態に保つ設計上、両者のキャッシュ容量が一致している必要があります。
この前提があるので、インスタンスクラスの変更をライターだけ、あるいはTier 0リーダーだけで終わらせる運用は成立しません。最終的に両方を新しいクラスへそろえるところが作業のゴールであり、その途中の順序としてリーダー先行が有利になります。
元記事で扱っている内容
- CCM対象のTier 0リーダーを先に変更し、手動フェイルオーバーで切り替える具体的な作業手順
- 作業前に確認しておく項目と、ダウンタイムを最小化する変更の進め方
- ライターを先に変更したほうが速いという説が成り立つかどうかの検討
- 検証環境で書き込みの中断時間を実測する方法
- 繰り返し発生するスケール変更に備えた再発防止と運用設計