0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

PostgreSQLのMultiXact枯渇はなぜ起きるのか

0
Posted at

PostgreSQLでmultixact "members" limit exceededやdatabase "xxx" must be vacuumed before N more MultiXactIds are usedが出ると、XID周回のときに覚えた対処がそのまま通りません。MultiXactは共有行ロックを複数トランザクションで保持するときだけ使われる仕組みで、専用のID空間とpg_multixactのディスク領域、専用の凍結設定を持ちます。XIDの年齢だけ監視していた環境では、警告が出た時点で何を見ればよいか分からず対応が遅れがちです。

この記事は要約版です。エラーメッセージ別の対処早見表、原因テーブルをrelminmxidから特定する手順、pageinspectでメンバーを確認する方法、書き込みが拒否された状態からの復旧手順は、ブログの完全版にまとめています: PostgreSQL MultiXact エラーの原因と対処

原因は共有行ロックの大量発生と凍結の遅れ

MultiXact関連の障害は、2つの要因の掛け算で起きます。ひとつは共有行ロックの大量発生です。同じ行に複数トランザクションがFOR KEY SHAREやFOR SHAREを取るとMultiXactIdが払い出され、最大の発生源は外部キー制約のチェックです。ステータスマスタの1行やテナント代表行のような特定の親行を、多数の子行INSERTが同時に参照すると、その1行のxmaxにメンバーが積み上がります。

厄介なのは、既存のMultiXactに追記できない点です。ロック保持者が増えるたびに、既存メンバーと新規メンバー全体を持つ新しいMultiXactIdが作られます。同一行にN個の保持者が順に群がれば、消費メンバー数はNの二乗オーダーになります。ホットな親行1行でpg_multixact/membersを使い切れるのはこのためです。

もうひとつは凍結の遅れ。MultiXactIdとメンバー情報は、VACUUMの凍結処理で初めて切り捨てられます。長時間トランザクション、放置されたprepared transaction、autovacuumの抑制設定、巨大テーブルでVACUUMが完走しないといった事情が重なると、ID空間とディスクが減りません。

したがって対処も2方向になります。短期的にはfreeze設定を下げたVACUUMで凍結を進め、中期的には共有ロックの発生源そのものを減らします。autovacuum_multixact_freeze_max_ageなどの設定調整は、この2つを支える位置づけです。

まず切迫度を数値で確認する

どのDBがどれだけ上限に近いかを最初に把握してください。

SELECT datname,
       datminmxid,
       mxid_age(datminmxid) AS mxid_age,
       (2^31)::bigint - mxid_age(datminmxid) AS remaining
FROM pg_database
ORDER BY mxid_age DESC;

mxid_ageがautovacuum_multixact_freeze_max_age(デフォルト4億)を超えていれば、anti-wraparound autovacuumが走っているはずです。走っていなければ理由を探します。10億を超えたら手動VACUUMの並列投入を検討する段階に入ります。

完全版で扱っている内容

  • エラーメッセージ別の対処早見表。members limit exceeded、書き込み拒否、apparent wraparound、MultiXactOffset系のLWLock待機それぞれの状態と初動
  • xmax・pg_multixact/offsets・members・SLRUの関係と、メンバーが二乗オーダーで増える仕組み。PostgreSQL 9.3の行ロック細分化以降の経緯とバージョン差
  • 原因の切り分け手順。pg_class.relminmxidでの原因テーブル特定、pg_constraintでの親子関係の確認、pageinspectとpg_get_multixact_members()でのロックモード確認
  • 書き込みが拒否された状態からの復旧手順。対象DBの確定、長時間トランザクションとprepared transaction、レプリケーションスロットの排除、VACUUM投入とpg_stat_progress_vacuumでの進捗監視、CHECKPOINTによる切り捨て確認
  • 再発防止の設計方針。ホットな親行への外部キー、pg_advisory_xact_lock()への置き換え、テーブル単位の凍結設定、監視項目へのnext_multi_offset追加

詳しい手順とSQLは完全版をご覧ください: PostgreSQL MultiXact エラーの原因と対処

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?