概要

プライベードクラウドのPostgeSQLからAWS上のAurora PosrgreSQLへテーブル同期する方法で、DMSだとうまくいかなかったので素直にPostgreSQLのロジカルレプリケーションで対応した時のまとめ。

構成

PostgreSQL(ソース) → DX ➔ DMS → Aurora PostgreSQL(宛先)

問題

あるテーブルをそのまま同期したかったが、1つのカラムだけ同期できず下記の通り制約がある事が分かった。
character varying[] 型に該当し、同期出来なかった。

AWS DMS は以下に制限があります:
json / jsonb → LOB 扱いすれば基本的に取れる
text[] / varchar[] / 配列型 → 未対応（サポート外）

補足

DMSの論理レプリケーション用の出力プラグインについて、デフォルトだとtest_decodingになっているので他のプラグインであれば出来る可能性がないかpgoutputとwal2jsonで試したが同様の理由で不可だった。今回のケースでは他のプラグインでも同期出来なかったが、デフォルトのtest_decodingは商用利用に耐えられないようなのでDMSを使う場合は他のプラグインを検討する必要がある。

主要プラグインの比較

項目	pgoutput	test_decoding	wal2json	decoderbufs	pglogical
主目的	PostgreSQL間の論理レプリケーション	WAL内容のテキスト表示、テスト用	WAL内容をJSON形式で外部連携	WAL内容をProtocol Buffers形式で外部連携	高度な部分レプリケーション、DB間複製
標準/サポート	PostgreSQL標準 (10以降)	PostgreSQL標準 (付属)	拡張プラグイン	拡張プラグイン	拡張プラグイン
出力形式	バイナリ形式（論理デコーディング用）	テキスト形式	JSON形式	Protocol Buffers形式	バイナリ/内部形式
利用例	`CREATE PUBLICATION / SUBSCRIPTION`	WAL解析、DMS検証、学習	Kafka連携、DMS経由で他DBへ同期	マイクロサービス連携、高速外部処理	テーブル単位の部分レプリケーション、DB同期
複雑型対応	配列・JSON対応（ただしツールによる制約あり）	文字列として出力（アプリ側変換必要）	JSON化されるので扱いやすい	外部アプリ側でデシリアライズ必要	配列・JSON型対応（PostgreSQL互換）
本番使用	推奨	推奨されない（確認用）	推奨可能	推奨可能	推奨（拡張インストール必要）
外部ツール対応	PostgreSQL間のレプリケーションに最適	外部ツールではカスタム対応が必要	DMSやKafka等に対応	外部アプリやサービス連携に最適	PostgreSQL拡張環境で対応可能

まとめ

DMSは異種DB間の移行/同期に利用するケースを想定されているようなので、同じDB間での同期はDBの機能を使うのが無難である事を実感した。