この記事はインフォマティカ Advent Calendar 2022 Day 13 の記事として書かれています。

はじめに

コントロールブレイクとは、『キー項目の値が切り替わるタイミグで何らかの処理を行う』という他のプログラム言語などでも利用されるアルゴリズムのことです。

ソートされたキー項目値の前レコードと現レコードが違う値になったタイミング(ここを「ブレイク」という)で処理を行うため、「キーブレイク」や「コントロールブレイク」と呼ばれたり、または、改ページやファイル出力で使われるロジックのため、「データペイジング」と呼ばれたりするようです。

直近レコードの特定や最大値などの取り出し、キー項目のグループ毎の集計などに用いられており、具体例としては、以下が挙げられると思います。

キー項目毎(社員、顧客…などの単位)に帳票出力
キー項目のグループ毎(店舗、クレジットカード…などの単位)の集計(売上、在庫数、受注数、決済金額…など)
最新の契約情報を取り出す
・・・など

本記事では、Informatica Intelligent Cloud Services のデータ統合/Cloud Data Integration を使ったTipsとして、そんなコントロールブレイク処理について、CDIでの実装イメージがつかめるように説明します。

作成する連携処理について

今回は「column2」のレコード値が切り替わるタイミグでコントロールブレイク処理を行います。

そのために、まず、ソータートランスフォーメーションにて、「column2」を昇順ソートします。
次に、式トランスフォーメーションにて、「column2」をキー項目にコントロールブレイク処理を用いて、フラグを立てます。
そして、トランザクション制御トランスフォーメーションにて、そのフラグを判定に用いて、キー項目毎にファイル出力するという処理を作成します。

上記のデータの流れを図にすると、以下のようになります。

それでは、作成していきましょう。

1. 接続の作成

はじめに接続を作成します。
今回はソースもターゲットもフラットファイルのため、フラットファイルコネクタで作成します。

ソース用の接続
ターゲット用の接続

2. マッピングの作成

全体像

2-1. ソーストランスフォーメーション

ソース用のフラットファイルコネクタを[接続]に設定し、[オブジェクト]にてソースファイルを選択します。

2-2. ソータートランスフォーメーション

キー項目「column2」で昇順にソートします。

2-3. 式トランスフォーメーション

「column2」をキー項目として、値が切り替わるタイミグでフラグを立てるために、以下の設定を行います。

この設定により、どのように処理されているのか説明します。

まず、式トランスフォーメーションが実行されると、データが1レコードずつ読み込まれ、フィールドの上から順番に処理が実行されていきます。また、変数フィールドは、次の処理が実行されるまで、格納された値を保持し続けています。
このように処理が実行されるのを利用しています。

そして、それを利用して、コントロールブレイク処理を行うために、3種類のフィールドを作成します。
①格納用：1つ前のレコードの値と保持するための変数フィールド
②判定用：1つ前のレコードの値と現レコードの値を比較して、何らかの処理を行うための変数フィールド
③出力用：判定した結果を出力するための出力フィールド

そして、3種類のフィールドは、下図の順番で設定します。
この順番で設定することで、[v_Flag]フィールドの式の判定には、1つ前のレコードの値と現レコードの値の比較を実現しています。

参考：1行目から6行目までを読み込んだ時のデータの流れ

データの流れを図にすると、以下のようになります。

初期値
1行目を読み込んだ時
2～5行目を読み込んだ時(前レコードと現レコードが一致している状態)
6行目を読み込んだ時(前レコードと現レコードが不一致になった状態)

2-4.トランザクション制御トランスフォーメーション

式トランスフォーメーションで設定した「Flag_Control」のフラグを判定に用いて、キー項目毎にファイル出力するという処理を作成します。

「v_Flag」項目の値が出力されており、"1"のフラグが立っているレコードが読み込まれた時、直前までのレコードをファイル出力し、現在のレコードから新しいファイルに書き出されていきます。