はじめに
Informatica Intelligent Data Management Cloud(IDMC/旧称IICS)でのちょっとしたTipsを纏めていきます。日々の活動の中で検証した結果記録であり、忘れやすい自分のためのメモですが、少しでも皆様のお役に立てればと思い公開していきます。記述方法など試行錯誤しており随時更新するかもしれません。
CDIRでGoogleBigQueryをターゲットとして利用する際の設定
CDIR Cloud Data Ingestion and Replication でデータをGoogle Big Queryに投入する為にはいくつか作業が必要となり、すこしばかり複雑なのでメモしました。
以下にマニュアルを示します。基本的にはこのマニュアルの通りに作業を行えば設定出来ますが、2024年7月のメジャーUpdateにより1つ設定を行う必要が出てきてしまいました。これを怠るとCDIR処理がエラーとなり実装出来なくなってしまう填まりポイントとなりうるのですが、このメモを見て頂ければ回避可能と思います。
マニュアル Application Ingestion and Replication - Guidelines for Google BigQuery targets
- ステップ1：Google Big Query V2 コネクタの設定
まず、管理者メニュー - 接続 にてGoogle Big Query V2コネクタを設定しておきましょう。詳細は以前の記事を参照ください。
- ステップ2：Google Big Query JDBCドライバのダウンロードと配置
マニュアル記載の通り、Google CloudのサイトからGoogle Big Query JDBCドライバをダウンロードします。現時点(2024/12月)でIDMC CDIRでサポートするのは 1.125.1029迄ですので、こちらをダウンロードしましょう。
ダウンロードしたzipファイル SimbaJDBCDriverforGoogleBigQuery42_1.2.25.1029.zip を解凍し、以下のディレクトリの下に配置します。
ちなみに自分の場合以下に配置しました。
- ステップ3：Google Big Query JDBCドライバのJARファイルの入れ替え
ここから、2024年7月メジャーリリース後に指示されている作業を実施します。
1 - 直前に配置したSimbaJDBCDriverforGoogleBigQueryディレクトリ配下の以下の3つのファイルを削除します。
・ jackson-databind-2.x.x.jar
・ jackson-core-2.x.x.jar
・ jackson-annotations-2.x.x.jar
2 - 以下のディレクトリから、以下の3つのファイルを、直前に配置したSimbaJDBCDriverforGoogleBigQueryディレクトリにコピーします。つまり、3つのファイルを置き換えます。
・ jackson-databind-2.17.1.jar
・ jackson-core-2.17.1.jar
・ jackson-annotations-2.17.1.jar
Database Ingestionサービスが起動している場合、上記ファイルを削除できない場合があります。サービスを停止して実施してください。
作業後はこんな感じになります。
ここまで作業が終われば完了です。Database Ingestionサービスを起動してCDIRタスクを設定して行きましょう。
まとめ
マニュアルには書いてあるが見落としがち、と言うところがポイントです。CDIRでGoogle Big Queryをターゲットとして利用する場合に、実行した際になんかエラーが出てうまく動かない、と言う場合はこの設定が出来ているか確認ください。
検索用
Informatica / IDMC / Intelligent Data Management Cloud / IICS / Data Integration / CDI / CMI / CDIR / Mass Ingestion / CDQ / CDP / Profiling / CDGC / CDMP / CLAIRE / AI / SecureAgent / ランタイム / マスインジェスチョン / マルケト / Marketo / Snowflake