はじめに
インフォマティカが提供する、 CDI(Cloud Data Integration)では、トランスフォーメーション(Tx)と呼ばれる変換部品を使って、ノーコードでデータの変換・連携を行うことができます。
この記事では、「共有体」と呼ばれる、複数のパイプラインから1つのパイプラインにデータを統合するために使用するトランスフォーメーションを解説します。
変換部品の概要
共有体
- 複数の入力グループのデータを1つの出力グループにマージします
図解イメージ
変換部品の詳細
データ統合パターンでは、通常、2つ以上のデータソースをすべての行の共有体を含む1つのストリームに組み合わせます。多くの場合、各データソースは同じ構造ではないため、データストリームを自由に結合することはできません。共有体トランスフォーメーションでは、類似するストリームのメタデータを作成し、データソースを1つのターゲットに組み合わせることができます。
共有体トランスフォーメーションはUNION ALL SQL文と同様に、複数のソースのデータを統合します。例えば、共有体トランスフォーメーションを使用して、ADPの従業員情報をWorkday従業員オブジェクトのデータと統合できます。
共有体トランスフォーメーションでデータソースを統合する場合、特定のフィールドを追加、変更、または削除できます。
実行時に、 マッピングタスクは入力グループを並列に処理します。また、共有体トランスフォーメーションに接続されたソースを読み込むと同時に、データブロックをトランスフォーメーションの入力グループにプッシュします。マッピングの実行時に、フィールドマッピングに基づいてデータを1つの出力グループに統合します。
- ジョイナトランスフォーメーションとの比較
共有体トランスフォーメーションでは、複数のソースのデータをマージできますが、ジョイナトランスフォーメーションのように結合条件に基づいたデータの結合や重複行の削除は行われません。
次の表に、複数ソースのデータもマージする共有体トランスフォーメーションとジョイナトランスフォーメーションの重要な相違点を示します。マッピング設計では次の相違点を考慮してください。
| 要件 | 共有体トランスフォーメーション | ジョイナトランスフォーメーション |
|---|---|---|
| 重複行を削除する | いいえ。共有体トランスフォーメーションからルータートランスフォーメーションまたはフィルタトランスフォーメーションダウンストリームを使用して、重複を削除できます。 | はい |
| 結合条件に基づいてレコードを結合する | いいえ。共有体トランスフォーメーションは、複数のソースから垂直にデータを結合するSQLのUNION ALL文と同じです。 | はい。ジョイナトランスフォーメーションでは、ノーマル結合、右外部結合、左外部結合、完全外部結合がサポートされています。 |
| 複数の入力グループを含める | はい。複数の入力グループと1つの出力グループを定義できます。 | はい。2つの入力グループ（マスタと詳細）を定義できます。 |
| 異種ソースを含める | ○ | × |
| 異なるデータ型をマージする | すべてのソースカラムが類似するデータ型である必要があります。各ソースのカラム数は同じである必要があります。 | 結合するソースの少なくとも1つのカラムのデータ型が同じである必要があります。 |
| トランザクションを生成する | × | ○ |