はじめに
IDMC(Intelligent Data Management Cloud)のCDQ(Cloud Data Quality)では、データ品質や傾向の可視化や、データ品質(一貫性や正確性など)向上のためのクレンジングを提供しています。
2025年のメジャーリリースでは、以下のデータ品質処理をREST APIとして公開することが可能となりました。
- ルール仕様
- マップレット(データ品質トランスフォーメーションを含むもの)
従来はデータ統合(バッチ処理)に組み込まれた事後的な品質改善が中心でしたが、他のアプリケーションからリアルタイムに品質チェックやクレンジングを実行できるようになりました。
これにより、データが生成される瞬間からデータ品質が担保できます。
この記事では、マップレットをAPI公開する手順についてご紹介します。
ルール仕様のAPI公開は以下の記事から。
実装
今回は、法人格を正規化するマップレットを作成し、REST APIとして公開します。
マップレットの作成
Cloud Data Integrationサービスを開きます。
「新規」から「マップレット」を選択します。
入力フィールドと出力フィールドをそれぞれ作成します。
クレンジング用トランスフォーメーションを追加します。
今回は、法人格を正規化するクレンジングアセットを呼び出しています。
データ品質トランスフォーメーションとして、クレンジング、ラベラー、解析、ルール仕様を含めることができます。
クレンジングアセットを選択し、フィールドマッピングを確認します。
ターゲットトランスフォーメーションで、クレンジング結果を出力項目にマッピングします。
マップレットを保存します。
マップレットのAPI化
「参照」から、対象のルール仕様を「APIで有効化」します。
API名を指定し「有効化」します。
REST APIの作成
API Centerサービスを開きます。
「新規」から「REST API」を作成します。
API名、プロジェクト(アセットの配置場所)を設定し、右上の「インポート」を選択します。
「IDMCサービス」＞「データ品質」を選びます。
対象のルール仕様を選択します。
インポートします。
POSTの操作が追加されます。
「ポリシー」＞「認証」を「セッションID」に設定します。
データ品質のREST APIでは、セッションID認証のみが設定可能です。
保存し、パブリッシュします。
APIの公開
APIコンソールでAPIを選択し、「管理対象APIの作成」をします。
URLコンテキストを指定し、保存します。
APIコンソールの「管理対象API」から、「管理対象APIのアクティブ化」をします。
マップレットがREST APIとして公開され、利用可能となりました。
実行
セッションIDの取得
認証用のセッションIDを取得します。
マップレットAPIの実行
HeaderにセッションIDを付与します。
Bodyにマップレットの入力項目を設定します。
実行すると、クレンジング後の値が返ってきます。
おわりに
データ品質の世界では、「修正にかかるコストは予防にかかるコストの10倍である」と言われます。(品質に起因する失敗は100倍のコストにつながる)
データライフサイクルにおける生成段階からデータ品質を予防するためにも、是非データ品質APIをご活用ください！
参考