LoginSignup
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@ShaneSheninGOODWAYS株式会社

Oracle GoldenGate OBEYファイル：モジュール化された保守性の高いデータ同期設定の構築

Posted at

深夜、緊急の本番変更依頼が届くことがあります。内容は「稼働中の 5 つの Extract プロセスそれぞれに、新たに 10 個の業務テーブルを追加する」というものです。サーバーのターミナルを開き、各プロセスに対してEDIT PARAMSを実行します。すでに数百行に及ぶ各パラメータファイルのTABLEステートメントの末尾を注意深く探し出し、そこにTABLE schema.table;の構文で 10 行を正確にコピー＆ペーストします。その間、タイプミスやセミコロンの付け忘れ、あるいは誤ったプロセスへの変更をしてしまうのではないかと神経を張り詰めながら作業を進めます。万が一のミスが、データ同期全体のリンクを停止させかねないからです。

これは数え切れないほどの OGG 管理者の日常業務の縮図です。テーブル数や業務ロジックの複雑さが増すにつれて、かつては簡潔だった.prmパラメータファイルも、次第に保守が難しくリスクの高い「モノリシック・アプリケーション」へと変貌していくのです

この記事は、その核心的な課題を解決します。Oracle GoldenGateのエレガントで強力な機能であるOBEYファイルについて深く掘り下げていきます。本記事を読了すれば、設定をモジュール化され、再利用可能で、保守しやすいプロフェッショナルな方法論へとリファクタリングする術を習得し、前述のような不安や非効率から解放されるでしょう。

モノリシックなパラメータファイルの欠点

解決策に入る前に、まず問題を明確に理解しておく必要があります。最適化されていない巨大な.prmファイルには、通常いくつかの致命的な欠陥があります。

  • 極めて低い可読性：データベース接続情報、DDL処理オプション、パフォーマンスパラメータ、エラー処理ロジック、そして数百ものTABLEやMAP文がすべて混在しています。
  • 高いメンテナンスコスト：冒頭のシナリオのように、「テーブルを追加する」「グローバルなエラー処理ポリシーを変更する」といった単純な要求が、複数のファイルで繰り返し変更を行う悪夢へと変わります。これはソフトウェア工学の最も基本的なDRY（Don't Repeat Yourself）原則に違反します。
  • エラーの誘発しやすさ：複数のファイル間で手動で変更を同期させることは、典型的な「ファットフィンガーエラー」（入力ミス）の多発地帯です。設定の不整合は、しばしば同期リンクで発生する「不可解な」障害の根本原因となります。
  • 再利用性の欠如：既存のプロセスと非常によく似た新しいReplicatを作成する必要がある場合、ファイルを丸ごとコピーして慎重に修正する以外に方法がありません。設定を独立した「コンポーネント」として再利用することはできません。

これらの問題は、テーブル数が限られた小規模な環境では許容できるかもしれません。しかし、エンタープライズレベルの複雑な環境では、これらは潜在的な「時限爆弾」です。

OBEYファイル入門：基本構文と動作原理

OBEYファイルは高度な技術ではなく、むしろOGGにおける「設定より規約」という設計思想の具現化と言えます。

定義：OBEYファイル（通常は.obyという拡張子が使われますが、必須ではありません）は、OGGのパラメータを含むプレーンテキストファイルです。その唯一の目的は、メインのパラメータファイル（.prm）からOBEYコマンドによって呼び出されることです。

動作原理：OGGプロセス（ExtractやReplicatなど）が起動し、その.prmファイルを解析する際、OBEYコマンドに遭遇すると、現在のファイルの解析を一時停止します。そして、呼び出されたOBEYファイルを開き、その中のすべてのパラメータを完全に実行します。OBEYファイルの実行が完了すると、プロセスはメインファイルに戻り、OBEYコマンドの次の行から解析を再開します。このプロセスは、C言語の#includeやシェルスクリプトのsourceに相当します。

構文:

OBEY <file_path/file_name>
  • ファイルパス：絶対パスも使用できますが、ベストプラクティスは相対パスを使用することです。OGGは自身の起動ディレクトリを基準とします。デフォルトでは、すべてのパラメータファイルとOBEYファイルはOGGのインストールディレクトリ下のdirprmサブディレクトリに保存すべきです。これにより、設定の移植性が高まります。

簡単な例：
すべてのReplicatプロセスで統一されたデータベースセッション設定を使用したいとします。

  1. dirprmディレクトリに、common_settings.obyという名前のファイルを作成します。
-- common_settings.oby
-- This file contains standard settings for all Replicat processes.
DBOPTIONS SUPPRESSTRIGGERS
DBOPTIONS DEFERREFCONST
  1. Replicatのパラメータファイルrep1.prmでそれを呼び出します。
-- rep1.prm
REPLICAT rep1
USERIDALIAS ogg_tgt_alias DOMAIN OracleGoldenGate

-- Include common settings
OBEY common_settings.oby

-- Specific MAP statements for this process
MAP src.customers, TARGET tgt.customers;
MAP src.orders, TARGET tgt.orders;

これだけで、rep1プロセスが起動する際に自動的にDBOPTIONSパラメータが適用され、メインファイルに繰り返し記述する必要がなくなります。将来、すべてのプロセスに新しい共通パラメータを追加する必要が生じた場合、common_settings.obyファイルを修正するだけで済みます。

OBEYファイルの典型的な応用シナリオ

理論は簡単ですが、OBEYファイルの威力は具体的な応用シナリオで発揮されます。以下に、エンタープライズ環境で最も広く利用されている4つのシナリオを紹介します。

シナリオ1：テーブルリストの集中管理 (TABLE/MAP)

これはOBEYファイルの最も基本的かつ効果的な使用方法です。

  • 課題：複数のExtractプロセス（例えば、リアルタイムExtractと下流のデータウェアハウス用のバッチExtract）が、同じ一連のコア業務テーブルをキャプチャする必要がある。

  • 解決策：

    1. これらのテーブルのリストを専門に格納するcore_tables.obyファイルを作成します。
    -- core_tables.oby
-- List of core business tables for extraction.
TABLE fin.gl_ledgers;
TABLE fin.gl_je_headers;
TABLE fin.gl_je_lines;
TABLE ar.ra_customer_trx_all;
TABLE ar.ra_customer_trx_lines_all;
    1. リアルタイムExtract（extfin.prm）とバッチExtract（extdw.prm）で、長いリストを一行のOBEYに置き換えます。

    変更前 (extfin.prm):

    EXTRACT extfin
USERIDALIAS ogg_src_alias DOMAIN OracleGoldenGate
EXTTRAIL ./dirdat/fn
-- Long list of tables
TABLE fin.gl_ledgers;
TABLE fin.gl_je_headers;
TABLE fin.gl_je_lines;
TABLE ar.ra_customer_trx_all;
TABLE ar.ra_customer_trx_lines_all;
-- ... other parameters

    変更後 (extfin.prm):

    EXTRACT extfin
USERIDALIAS ogg_src_alias DOMAIN OracleGoldenGate
EXTTRAIL ./dirdat/fn

-- Include the list of core finance tables
OBEY core_tables.oby

-- ... other parameters

  • 利点：業務上、新しいコアテーブル（例：fin.ap_invoices_all）を追加する必要が出た場合、core_tables.obyファイルに一行追加するだけで済みます。このファイルに依存するすべてのプロセスは、再起動後に自動的に変更が反映され、変更に伴うコストとリスクが大幅に削減されます。

シナリオ2：標準化された設定ライブラリの作成

エンタープライズレベルのOGG環境には、統一された規範が不可欠です。OBEYファイルは、これらの規範を施行するための完璧なツールです。

  • 課題：すべてのReplicatプロセスが、会社で定められた標準的なエラー処理、DDL同期、競合解決ポリシーに準拠していることをどう保証するか？

  • 解決策：

    • 「標準Replicat設定ライブラリ」ファイル、例えばstd_replicat_config.obyを作成します。
    -- std_replicat_config.oby
-- Standard configuration library for all Replicat processes.
-- Enforces company-wide policies.

-- DDL Handling
DDL INCLUDE MAPPED

-- Error Handling: Log errors for later analysis, but do not abend the process.
REPERROR (DEFAULT, DISCARD)

-- Collision Handling: Overwrite if a record exists on insert.
HANDLECOLLISIONS
    • すべての新しいReplicatパラメータファイルの冒頭部分に、このOBEYファイルを含めることを必須とします。

  • 利点：このアプローチにより、設定のベストプラクティスが「ドキュメント」から「実行可能なコード」に変わり、すべての同期プロセスにおける振る舞いの一貫性と安定性が強制的に保証されます。監査や引き継ぎ作業も非常に簡単になります。

シナリオ3：複雑なロジックのモジュール化 (例: COLMAP)

異種データベース間のレプリケーションや、データクレンジング・変換が必要なシナリオでは、MAP文内のCOLMAP句が非常に肥大化することがあります。

  • 課題：数十のフィールドマッピングや変換関数を含むCOLMAPは、メインのパラメータファイルの可読性を著しく低下させる。

  • 解決策：

    • 複雑なCOLMAPロジックを独立したOBEYファイルに分離します。OBEYはMAP文の内部で使用できることに注意してください。

    変更前 (repsales.prm):

    REPLICAT repsales
...
MAP sales.orders, TARGET bi.f_orders,
COLMAP (USEDEFAULTS,
    order_id = order_id,
    order_date = @DATE('YYYY-MM-DD', 'YYYY/MM/DD', order_date),
    customer_id = customer_id,
    order_total = order_value * 1.1, -- Add tax
    order_status = @CASE(status, 'P', 'Pending', 'S', 'Shipped', 'C', 'Cancelled', 'Unknown'),
    -- ... dozens more lines ...
    source_system = 'OLTP'
);

    変更後:
    まず、map_orders_colmap.obyファイルを作成します。

    -- map_orders_colmap.oby
-- Column mapping logic for the sales.orders table.
COLMAP (USEDEFAULTS,
    order_id = order_id,
    order_date = @DATE('YYYY-MM-DD', 'YYYY/MM/DD', order_date),
    customer_id = customer_id,
    order_total = order_value * 1.1, -- Add tax
    order_status = @CASE(status, 'P', 'Pending', 'S', 'Shipped', 'C', 'Cancelled', 'Unknown'),
    -- ... dozens more lines ...
    source_system = 'OLTP'
)

    次に、メインファイルrepsales.prmを簡素化します。

    REPLICAT repsales
...
MAP sales.orders, TARGET bi.f_orders,
OBEY map_orders_colmap.oby;

  • 利点：主要ロジックと詳細ロジックが分離されます。メインファイルは「どこからどこへ」というマッピング関係を明確に定義し、具体的な変換の詳細は独立したモジュールにカプセル化されます。保守担当者は、関心のある部分を迅速に特定し、修正することができます。

シナリオ4：ネストされたOBEYと環境分離

開発、テスト、本番といった複数の環境を持つ場合、OBEYをネストして使用することで、設定の再利用性を最大限に高めることができます。

  • 課題：同じパラメータファイルテンプレートを使い、異なる環境固有の設定（データベース接続情報など）をどう管理するか？
  • 解決策：
    1. 共通設定の定義：すべての環境で共通のパラメータ（EXTTRAILオプションなど）を含むcommon_extract_config.obyを作成します。
    2. テーブルリストの定義：同期対象のテーブルを含むapp_tables.obyを作成します。
    3. 環境固有設定の定義：各環境ごとにファイルを作成します。
      • prod.oby: USERIDALIAS ogg_prod_alias DOMAIN OracleGoldenGate
      • dev.oby: USERIDALIAS ogg_dev_alias DOMAIN OracleGoldenGate
    4. メインパラメータファイルの組み立て：メインファイルextapp.prmは「組み立て」に専念します。
    -- extapp.prm - Main parameter file for Application Extract
EXTRACT extapp

-- Include environment-specific settings (e.g., DB connection)
OBEY dev.oby  -- In DEV environment. Change to prod.oby for PROD.

-- Include common configurations
OBEY common_extract_config.oby

-- Include the list of tables to be extracted
OBEY app_tables.oby
  • 利点：これにより、「Configuration as Code」の究極の形が実現します。設定の95%（共通設定とテーブルリスト）は全環境で完全に同一であり、環境固有のdev.obyまたはprod.obyだけが異なります。新しい環境にデプロイする際、OBEYの呼び出しを一つ切り替えるだけで済み、デプロイの効率と安全性が大幅に向上します。

ベストプラクティスと注意事項

OBEYファイルの威力を最大限に引き出し、新たな問題を招かないために、以下のベストプラクティスに従ってください。

  1. 明確なディレクトリ構造を確立する：すべての.obyファイルをdirprmのルートディレクトリに置かないでください。サブディレクトリを作成することを推奨します。例：
    • dirprm/oby/tables/
    • dirprm/oby/configs/
    • dirprm/oby/maps/
  2. 命名規則を採用する：ファイル名は自己説明的であるべきです。t1.obyよりもhr_tables.obyの方がはるかに優れています。
  3. バージョン管理を取り入れる：dirprmディレクトリ全体をGitのようなバージョン管理システムに含めることは必須です。これにより、変更の追跡、コードレビュー、迅速なロールバックが可能になり、これはプロフェッショナルな運用の基盤です。
  4. 詳細なコメントを追加する：メインファイルでは、各OBEYコマンドの横にその目的を説明するコメントを追加します。OBEYファイル自体の内部にも、ヘッダーコメントを記述すべきです。
  5. 2つの落とし穴に注意する：
    • 循環依存：ファイルAがファイルBをOBEYし、ファイルBがファイルAをOBEYする。OGGはこの状況を検知してエラーを出しますが、設計段階で避けるべきです。
    • パラメータの上書き：パラメータは順次解析されます。OBEYファイルでHANDLECOLLISIONSを定義し、その後メインファイルで再度定義した場合、メインファイルでの定義がOBEYファイルでの定義を上書きします。

まとめ

OBEY ファイルは、任意の「上級テクニック」ではなく、プロフェッショナルな OGG 構成管理における中核的なプラクティスです。
「モノリシック」なパラメータファイルをモジュール化されたOBEYファイルに分割することで、質的な改善を実現できます。

中核的価値 具体的な現れ
モジュール性 ロジックが分離され、設定単位が独立して管理される。
再利用性 「一度書けば、どこでも使える」、反復作業を避ける。
保守性 変更箇所が集中し、変更の複雑さとリスクを低減する。
標準化 設定ライブラリを通じて企業全体の規範を強制し、システムの安定性を向上させる。

最も重要な原則は、OGGの設定をコードとして扱うことです。

今日から、あなたの環境で最も巨大で複雑な.prmファイルを見直してみてください。その中で最も再利用可能な部分、例えばテーブルリストなどを、OBEYファイルに分離することから試してみてください。この第一歩を踏み出すことで、より効率的で信頼性の高いOracle GoldenGate管理への道が開かれるでしょう。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?