OCI GoldenGate(OCI GG) で BaseDB 19c から ADW-S にレプリケーションしてみる。(Oracle Cloud Infrastructure)

以前にも似たような記事を書いているんですが、あれから OCI GoldenGate(以下、OCI GG)もアップデートされてUI等が変更されてたりするので、その整理も兼ねて改めて書いてみますやで。
彡(ﾟ)(ﾟ)

1. 参考にした記事＆マニュアル

以前書いた記事とOCIチュートリアル401とマニュアルを参考にしています。やっている事はOCIチュートリアル401と同じなのですが、本記事では OCI GG で新たに必要になった OCI Secret作成、BaseDB の CDB/PDB接続 や ハートビート表の動作確認などを加味して記載しています。

Oracle GoldenGate Microservicesアーキテクチャを使用してのステップ・バイ・ステップ・データ・レプリケーション 21c
1.1 Oracle GoldenGate Microservices Architectureによるデータ・レプリケーションの設定
https://docs.oracle.com/cd/F51462_01/ggmas/quickstart-your-data-replication-oracle-goldengate-microservices-architecture.html#GUID-FAAAFDB1-FF77-4EF5-A85C-3FBBB832CCD1

2. 構成図

Private Subnet に BaseDB, ADW-S, OCI GoldenGate を作成して BaseDB 19c → ADW-S にレプリケーションします。

これらの構成に必要な コンパートメント/VCN/Subnet/BaseDB/ADW-S等は作成済みのものとします。
伝播対象のDBユーザーやテーブルも予め作成しておきます。Source DB(PDB) と Target DB(ADW-S) の両方に作成しておきます。

CREATE TABLE AYSHIBAT.TEST_TBL01 (
    ID   NUMBER
  , NAME VARCHAR2(20)
);

ALTER TABLE AYSHIBAT.TEST_TBL01 ADD CONSTRAINT TEST_TBL01_PK PRIMARY KEY(ID) USING INDEX;

3. データベースの設定(ユーザー作成、権限付与、パラメータ変更など)

下記のマニュアルに従って OCI GG用 の DBユーザー を作成＆権限付与します。

Oracle DatabaseでのOracle GoldenGateの使用 21c (21.3.0)
3.1.1.1 適切なユーザー権限の付与
https://docs.oracle.com/cd/F51462_01/oracle-db/establishing-oracle-goldengate-credentials.html#GUID-F9EBB989-E22F-4355-BE60-40F957B8515E

下記のパラメータ(ENABLE_GOLDENGATE_REPLICATION)も Source/Target の両方で TRUE に変更します。

Oracle Database データベース・リファレンス 19c
1.119 ENABLE_GOLDENGATE_REPLICATION
https://docs.oracle.com/cd/F19136_01/refrn/ENABLE_GOLDENGATE_REPLICATION.html#GUID-600FC071-1516-49B2-B3B3-C1C5430C5917

• Source側(BaseDB, CDB$ROOT) の共通ユーザー(C##～)作成、権限付与、パラメータ変更、サプリメンタル・ロギング設定

CREATE USER C##GGADMIN IDENTIFIED BY xxxxxxxxxx
DEFAULT TABLESPACE USERS
TEMPORARY TABLESPACE TEMP;

GRANT CREATE SESSION         TO C##GGADMIN CONTAINER = ALL;
GRANT RESOURCE               TO C##GGADMIN CONTAINER = ALL;
GRANT ALTER SYSTEM           TO C##GGADMIN CONTAINER = ALL;
GRANT ALTER USER             TO C##GGADMIN CONTAINER = ALL;
EXEC DBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE('C##GGADMIN', container => 'ALL');
GRANT SELECT ANY DICTIONARY  TO C##GGADMIN CONTAINER = ALL;
GRANT SELECT ANY TRANSACTION TO C##GGADMIN CONTAINER = ALL;

-- For User Objects
GRANT DBA TO C##GGADMIN CONTAINER = ALL;
GRANT UNLIMITED TABLESPACE TO C##GGADMIN CONTAINER = ALL;

-- DB Setting
ALTER SYSTEM SET enable_goldengate_replication = TRUE SCOPE=BOTH SID='*';
ALTER DATABASE FORCE LOGGING;
-- 19c以降のサプリメンタル・ロギング有効化
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA SUBSET DATABASE REPLICATION;
-- 19cより前のサプリメンタル・ロギング有効化
-- ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;

サプリメンタル・ロギングの「～ SUBSET DATABASE REPLICATION;」は 19c の新機能です。下記マニュアルを参照して下さい。

Oracle Database データベース新機能ガイド 19c
粒度の高いサプリメンタル・ロギング
https://docs.oracle.com/cd/F19136_01/newft/new-features.html#GUID-1466A888-5F47-41BA-AF7D-9A4B30F5F8D2

• Source側(BaseDB, PDB) の GG用ユーザー(GGADMIN)作成、権限付与

CREATE USER GGADMIN IDENTIFIED BY xxxxxxxxxx
DEFAULT TABLESPACE USERS
TEMPORARY TABLESPACE TEMP;

-- For GG
GRANT CREATE SESSION TO GGADMIN CONTAINER=CURRENT;
GRANT ALTER ANY TABLE TO GGADMIN CONTAINER=CURRENT;
GRANT RESOURCE TO GGADMIN CONTAINER=CURRENT;
EXEC DBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE('GGADMIN');

-- For User Objects
GRANT DBA TO GGADMIN CONTAINER=CURRENT;
GRANT UNLIMITED TABLESPACE TO GGADMIN CONTAINER = CURRENT;

• Target側(ADW-S) の設定
  Autonomous Database の場合は事前定義ユーザーの GGADMIN のアカウントロック解除＋パスワード設定を行います。

CONNECT ADMIN/xxxxxxxx@(description=～;
ALTER USER GGADMIN ACCOUNT UNLOCK;
ALTER USER GGADMIN IDENTIFIED BY xxxxxxxx;

ADB の場合は GUI でもアカウントロックを解除可能です。下記記事を参照して下さい。

4. OCI Key-Management(旧OCI Vault)の暗号化キー作成

新規にデプロイする OCI GG Deployment のパスワードについて、OCI Key-Management(旧OCI Vault)に格納されたシークレットを使用することが必要になりました。
前準備として OCI Key-Management の暗号化キーを事前に準備しておきます。

まず OCI Key-Management の Vault を作成します。

次に暗号化キー(パスワードを暗号化するための鍵)を作成します。HSM は非常に高価なのでソフトウェアキーで作成しましょう……。

現時点で OCI GG で使用する暗号化キーのアルゴリズムは AES のみが使用可能です。下記マニュアルを参照してください。

Create a deployment
https://docs.oracle.com/en/cloud/paas/goldengate-service/llyhq/index.html#GUID-899C1348-58CA-43EE-B775-EAD3B365A7A9
Note:Only AES keys, Software protected keys, and HSM keys are supported. RSA and ECDSA keys are not supported for GoldenGate password secret keys.

5. OCI GG Deproyment の作成

OCI Console の 左上のハンバーガーボタン ⇒ Oracle Database ⇒ GoldenGate(右側)と遷移して、Deployments の Create deployment をクリックします。

以下のように入力していきます。

変数名	入力値
Name	任意の文字列を入力
Description	任意の説明
Compartment	任意のコンパートメントを選択
oCPU count	必要なoCPU数 ※後から変更可能です。
Subnet	OCI GG をデプロイする VCN Subnet を選択
Choose a license type	ライセンス持ち込み以外は License included を選択します。
GoldenGate instance name	任意の文字列を入力
Administrator usrename	GoldenGate管理ユーザー名を入力、DBユーザーとは異なります。
Password secret	GoldenGate管理ユーザーのパスワードを格納したSecretを選択 ※この時点では未作成で選択不可

パスワードは直接入力が不可になって OCI Secret を選択する方式になっています。
この時点では未作成なので画面右下の「Create password secret」ボタンをクリックします。

Secret は以下のように入力してCreateボタンをクリックします。

変数名	入力値
Name	任意の文字列を入力
Description	任意の説明
Compartment	任意のコンパートメントを選択
Vault	前述 4. で作成した暗号化キーを保持している OCI Vault を選択
Encryption key	前述 4. で作成した暗号化キーを選択、AESのキーのみ利用可能です。
User Password, Confirm User Password	GoldenGate管理ユーザー名のパスワードを入力

Create Deployment画面に戻ってCreateボタンをクリックします。完了すると以下のようになります。

6. データベース接続の作成とアサイン＆接続テスト

OCI Console の 左上のハンバーガーボタン ⇒ Oracle Database ⇒ GoldenGate(右側) と遷移して、Connections の Create Connectionボタンをクリックして、BaseDB および ADW-S への接続を作成します。

BaseDB は CDB と PDB をそれぞれ個別にひとつずつ、ADW-S はひとつの合計3つのデータベース接続を作成します。

• BaseDB CDB接続の作成

BaseDB の CDB接続 は下記のとおり入力しています。

変数名	入力値
Name	任意の文字列を入力
Description	任意の説明
Compartment	任意のコンパートメントを選択
Type	Oracle Database を選択
Enter Connection details for Oracle Database	今回は Enter Database Information を選択
Database Connection String	SCANアドレス+CDBサービス名の接続文字列を設定します
Database username	前述 3. で作成した C##～ユーザーを入力
Database user password	C##～ユーザーのパスワードを入力
Traffic routing method	BaseDB/ADW/OCIGG を Private Subnet に作成しているので Dedicated endpoint を選択
Session mode	今回作成した BaseDB は RAC のため Redirect を選択

• BaseDB PDB接続の作成

BaseDB の PDB接続 は下記のとおり入力しています。

変数名	入力値
Name	任意の文字列を入力
Description	任意の説明
Compartment	任意のコンパートメントを選択
Type	Oracle Database を選択
Enter Connection details for Oracle Database	今回は Enter Database Information を選択
Database Connection String	SCANアドレス+PDBサービス名の接続文字列を設定します
Database username	前述 3. で作成した GGADMIN を入力
Database user password	前述 3. で作成した PDB の GGADMIN のパスワードを入力
Traffic routing method	BaseDB/ADW/OCIGG を Private Subnet に作成しているので Dedicated endpoint を選択
Session mode	今回作成した BaseDB は RAC のため Redirect を選択

• ADW-S接続の作成

ADW-S(Autonomous Database Warehourse)は下記のとおり入力しています。今回の ADW-S は Private Endpoint で作成しているため、通常の Oracle Database相当の接続設定としています。

変数名	入力値
Name	任意の文字列を入力
Description	任意の説明
Compartment	任意のコンパートメントを選択
Type	Oracle Database を選択
Enter Connection details for Oracle Database	今回は Enter Database Information を選択
Database Connection String	ADW-SのTLS(※1521ポート)接続文字列を設定します。ADW-Sの事前定義DBサービスはlowサービスを選択します。
Database username	前述 3. でロック解除した GGADMIN を入力
Database user password	前述 3. で設定した GGADMINユーザーのパスワードを入力
Traffic routing method	BaseDB/ADW/OCIGG を Private Subnet に作成しているので Dedicated endpoint を選択
Session mode	Private Subnet に作成した ADW-S のエンドポイントは Single のため Direct を選択
Subnet	Private Subnetを選択
Database node IP	無し

作成したデータベース接続を OCI GG Deployment にアサインします。

データベース接続のアサイン完了後に Deployment にアサインした接続をテストします。

Test Connection で successful が出ていればデータベース接続の作成とアサインは完了です。
BaseDB 19c の CDB と PDB、ADW-S で合計3つのデータベース接続が作成＆アサインされた状態です。

各データベース接続の接続先, 接続ユーザー, 用途は以下の通りです。

データベース接続(接続先)	接続ユーザー	用途
BaseDB CDB	C##GGADMIN	Extractで使用
BaseDB PDB	GGADMIN	スキーマ or 表単位の ADD TRANDATA, ハートビート表(Source側)作成で使用
ADW-S	GGADMIN	ハートビート表(Target側)作成、チェックポイント表作成、Replicatで使用

7. Oracle GoldenGate管理サービス・コンソールへの接続 と コンソールからのデータベース接続確認

OCI GG Deployment のトップ画面からOracle GoldenGate管理サービス・コンソールに接続します。

今回は Private Subnet に OCI GG Deployment を作成しており、手元のPCからの直接接続は不可だったため、Compute に SSH接続して SSHポートフォワードで管理サービス・コンソールに接続しています。

管理サービス・コンソールのトップ画面から 構成 ⇒ データベース(サブタブ) と遷移して、登録データベースのハンバーガーボタンを押して接続を確認します。BaseDB の CDB, PDB および ADW-S の三つで接続できることを確認します。

接続が成功すると「チェックポイント」「TRANDATA情報」「ハートビート」といった項目が表示されます。

8. スキーマ単位 または 表単位 のサプリメンタル・ロギング設定(Source DB の PDB のみ)

管理サービス・コンソールのトップ画面から 構成 ⇒ データベース(サブタブ) ⇒ Source DB(PDB) のハンバーガーボタンと遷移して Source DB(BaseDB) の PDB に接続します。

今回はAYSHIBATスキーマに対してサプリメンタル・ロギングを有効化します。
スキーマ名に AYSHIBAT を入力して発行ボタンをクリックします。

実行後にTRANDATA情報を検索すると、以下のようにTRANDATAが設定されていることを確認できます。

下記マニュアルも参照して下さい。

Oracle GoldenGate Microservicesアーキテクチャを使用してのステップ・バイ・ステップ・データ・レプリケーション
4.4 Extractを作成する前に
https://docs.oracle.com/cd/F44199_01/ggmas/working-data-replications.html#GUID-C3B8B4EE-B13F-43BF-AE94-CFCB01B26F60

9. チェックポイント表の作成(Target DB のみ)

チェックポイント表は Replicat がレプリケーションの進行状況を記録するための GoldenGate内部表 です。

管理サービス・コンソールのトップ画面から 構成 ⇒ データベース(サブタブ) ⇒ Target(ADW-S) のハンバーガーボタンと遷移して Targetデータベース(ADW-S)に接続します。

チェックポイントからチェックポイント表の作成を発行します。
チェックポイント表の名前はGG用DBユーザーのユーザー名(ADBの場合はGGADMIN).チェックポイント表名の形式で入力してください。

チェックポイント表の作成に成功すると、以下のように作成されたチェックポイント表が表示されます。

下記マニュアルも参照して下さい。

Oracle GoldenGate Microservicesアーキテクチャを使用してのステップ・バイ・ステップ・データ・レプリケーション
3.6 Replicatを作成する前に
https://docs.oracle.com/cd/F44199_01/ggmas/working-data-replications.html#GUID-498DD0DD-25DD-4578-92B6-F3A41E3AE6AB

10. ハートビート表の作成(Source DB(PDB) と Target両方)

ハートビート表は GoldenGate の伝播状況、特にラグ(伝播遅延)を確認するのに極めて有益な情報となります。

17.4 自動ハートビート表を使用した監視
https://docs.oracle.com/cd/F51462_01/admin/monitoring-oracle-goldengate-processing.html#GUID-59E61274-BDDE-4D4B-9681-ED0BC39E9FCF

管理サービス・コンソールのトップ画面から 構成 ⇒ データベース(サブタブ) ⇒ Source DB(PDB) のハンバーガーボタンと遷移して Source DB(BaseDB) の PDB に接続します。

ハートビートからハートビート表の更新頻度、保存期間、パージ頻度を設定して発行ボタンをクリックします。この時に Target Only のチェックは解除して下さい。

次に管理サービス・コンソールのトップ画面から 構成 ⇒ データベース(サブタブ) ⇒ Target DB のハンバーガーボタンと遷移して Target DB(ADW-S) に接続します。

ハートビートからハートビート表の保存期間、パージ頻度を設定して発行ボタンをクリックします。この時に Target Only のチェックは設定しておいて下さい。

11. GLOBALSパラメータ編集

管理サービス・コンソールのトップ画面から 構成 ⇒ パラメータ・ファイル(サブタブ) ⇒ GLOBALS の編集ボタンと遷移して GLOBALSパラメータを以下のように編集します。

ggschema <Source DB(PDB) の GG用ユーザー>
CRYPTOENGINE FIPS140
checkpointtable <Target DB のGG用DBユーザー名>.<チェックポイント表名>

今回は以下のように設定しています。

ggschema GGADMIN
CRYPTOENGINE FIPS140
checkpointtable GGADMIN.OCIGGCKPT

12. Extract の作成

管理サービス・コンソールのトップ画面から Extract を作成します。Extract の +ボタン をクリックします。

統合Extract を選択して次へをクリックします。

変数名	入力値
プロセス名	任意の文字列ただし8文字まで、今回は EXT01 を入力
トレイル名	2文字のPREFIXを設定、今回は tr を入力
資格証明ドメイン	OracleGoldenGate を選択
資格証明別名	Source DB の CDB の Alias を選択
PDBに登録	資格証明を選択後に入力できます。伝播対象表が有る PDB を選択

次へボタンをクリックして Extractパラメータの画面に遷移します。Extract のパラメータは以下のように設定します。GoldenGate は色々と多機能でここの設定も色々有るのですが、今回はシンプルに構成します。

EXTRACT EXT01
USERIDALIAS aysoskociggconnection01basedb1 DOMAIN OracleGoldenGate
EXTTRAIL tr
TABLE AYSPDB19C.AYSHIBAT.*;

「作成および実行」をクリックして正常に終了すると、Extractプロセス が作成されて起動します。

13. Replicat の作成

管理サービス・コンソールのトップ画面から Replicat を作成します。Replicat の +ボタン をクリックします。

Replicatプロセスの種別を選択します。色々あるのですが今回は 非統合Replicat を選択して次をクリックします

以下を入力します。変更する部分のみをピックアップしています。

変数名	入力値
プロセス名	任意の文字列ただし8文字まで、今回は REP01 を入力
資格証明ドメイン	OracleGoldenGate を選択
資格証明別名	Target DB(ADW-S) の Alias を選択
トレイル名	Extract に設定した 2文字のPREFIXを入力、今回は tr を入力
チェックポイント表	上記8. で作成したチェックポイント表を選択

Replicat のパラメータは以下のように設定します。やはり色々と設定はあるのですが、今回はここもシンプルに構成します

REPLICAT REP01
USERIDALIAS aysoskociggconnection03adws DOMAIN OracleGoldenGate
MAP AYSPDB19C.AYSHIBAT.*, TARGET AYSHIBAT.*;

「作成」をクリックして正常に終了すると、Replicatプロセス が作成されます。この時点ではまだ起動していません。

「アクション」→「オプションを使用して開始」を選択します。

今回は CSN に 0 を指定して Replicat を起動します。ケースによっては「CSNより後」を選択して Oracle Database の SCN値 を入力して起動します。

Replicat が正常に起動したことを確認します。

14. レプリケーションの確認(INSERT, UPDATE, DELETE, 統計, ハートビート)

レプケーションを確認します。まず Source DB(BaseDB PDB)側 でデータを INSERT してみます。

SQL> SHOW USER;
USER is "AYSHIBAT"

SQL> SHOW CON_NAME;

CON_NAME
------------------------------
AYSPDB19C

SQL> INSERT INTO TEST_TBL01 SELECT LEVEL, 'REC' || LEVEL FROM DUAL CONNECT BY LEVEL <= 10;

10 rows created.

SQL> COMMIT;

Commit complete.

Target(ADW-S)側 で対象テーブルを SELECT してみます。

SQL> SHOW USER
USER is "AYSHIBAT"

SQL> SHOW CON_NAME

CON_NAME
------------------------------
L5LSSTUM9V4ZR9T_AYSADW01

SQL> SELECT * FROM TEST_TBL01;

        ID NAME
---------- --------------------
         1 REC1
         2 REC2
         3 REC3
         4 REC4
         5 REC5
         6 REC6
         7 REC7
         8 REC8
         9 REC9
        10 REC10

10 rows selected.

SQL>

レプリケーションされてるやで！彡(^)(^)

UPDATE や DELETE も Source DB(BaseDB PDB)側 で実行してみます。

SQL> SHOW USER;
USER is "AYSHIBAT"

SQL> SHOW CON_NAME;

CON_NAME
------------------------------
AYSPDB19C

SQL> UPDATE TEST_TBL01 SET NAME = 'XXXXXXXX' WHERE ID = 10;

1 row updated.

SQL> DELETE FROM TEST_TBL01 WHERE ID = 9;

1 row deleted.

SQL> COMMIT;

Commit complete.

SQL>

Target DB(ADW-S)側で結果を確認してみます。

SQL> SHOW USER;
USER is "AYSHIBAT"

SQL> SHOW CON_NAME;

CON_NAME
------------------------------
L5LSSTUM9V4ZR9T_AYSADW01

SQL> SELECT * FROM TEST_TBL01;

        ID NAME
---------- --------------------
         1 REC1
         2 REC2
         3 REC3
         4 REC4
         5 REC5
         6 REC6
         7 REC7
         8 REC8
        10 XXXXXXXX

9 rows selected.

SQL>

Extract, Replicat のプロセス名はリンクになっていて、遷移先の統計(サブタブ)から各種統計を確認可能です。

Replicat のハートビート(サブタブ)からはラグ(伝播遅延)を確認できます。

まとめ

OCI GG で BaseDB のデータを ADW-S にレプリケーションできました。
皆さんどんどんご活用くださいね。彡(^)(^)