はじめに
- 本稿は、ETLフローをDatastage on Cloud Pak for Data（以下DS on CP4D）で開発し本番に適用するにあたり、開発と本番の環境差異を如何に吸収し、開発したフローを本番にスムーズに適用できるのかを検証したものです。
- あくまで検証したものであるため、必ずしも当該設定がすべての環境で稼働することを保証するものではありません。
開発から本番へETLフローを適用するイメージ
使用したコンポーネント
- Snowflake x 2（開発/本番想定のデータソースとして）
- DS on CP4D 4.8 x 2（開発/本番想定のETL環境として）
- フロー（ETLの処理をGUIで開発）
- パラメータセット（変数部分）
- RHEL9 x 2 （DSのコマンドライン用端末として）
- CP4D用コマンドラインツール
- Github（ETLフローのCI/CD部分）
開発/本番環境にてETLフローを実行する際のイメージ
コマンドラインにて、実行環境のパラメータを変数に格納するように指定して実行します。
詳細
以下項目ごとに記事を分けて、準備方法を記載します。
- Github 準備
- 端末準備
- CP4D 準備
- Datastage開発
- Git連携
Coming Soon...