はじめに
IDMC(Intelligent Data Management Cloud)のCDQ(Cloud Data Quality)では、データ品質や傾向の可視化や、データ品質(一貫性や正確性など)向上のためのクレンジングを提供しています。
2025年のメジャーリリースでは、以下のデータ品質処理をREST APIとして公開することが可能となりました。
- ルール仕様
- マップレット(データ品質トランスフォーメーションを含むもの)
従来はデータ統合(バッチ処理)に組み込まれた事後的な品質改善が中心でしたが、他のアプリケーションからリアルタイムに品質チェックやクレンジングを実行できるようになりました。
これにより、データが生成される瞬間からデータ品質が担保できます。
この記事では、ルール仕様をAPI公開する手順についてご紹介します。
マップレットのAPI公開は以下の記事から。
実装
今回は、電話番号に含まれるハイフンや括弧を除去するルール仕様を作成し、REST APIとして公開します。
ルール仕様アセットの作成
既存のルール仕様をAPI化する場合、この手順は不要です。
ルール仕様アセットのAPI化から進めてください。
Cloud Data Qualityサービスを開きます。
「新規」から「ルール仕様」を選択します。
アセットの詳細を入力します。
PrimaryRuleSetにルールロジックを作成します。
電話番号のハイフンや括弧を除去するクレンジングロジックを定義しています。
テストで想定通りの結果となることを確認し、保存します。
ルール仕様アセットのAPI化
「参照」から、対象のルール仕様を「APIで有効化」します。
API名を指定し「有効化」します。
REST APIの作成
API Centerサービスを開きます。
「新規」から「REST API」を作成します。
API名、プロジェクト(アセットの配置場所)を設定し、右上の「インポート」を選択します。
「IDMCサービス」＞「データ品質」を選びます。
対象のルール仕様を選択します。
インポートします。
POSTの操作が追加されます。
「ポリシー」＞「認証」を「セッションID」に設定します。
データ品質のREST APIでは、セッションID認証のみが設定可能です。
保存し、パブリッシュします。
APIの公開
APIコンソールでAPIを選択し、「管理対象APIの作成」をします。
URLコンテキストを指定し、保存します。
APIコンソールの「管理対象API」から、「管理対象APIのアクティブ化」をします。
ルール仕様がREST APIとして公開され、利用可能となりました。
実行
セッションIDの取得
認証用のセッションIDを取得します。
ルール仕様APIの実行
HeaderにセッションIDを付与します。
Bodyにルール仕様で定義した入力値を設定します。
実行すると、ルール仕様のクレンジング後の値が返ってきます。
おわりに
データ品質の世界では、「修正にかかるコストは予防にかかるコストの10倍である」と言われます。(品質に起因する失敗は100倍のコストにつながる)
データライフサイクルにおける生成段階からデータ品質を予防するためにも、是非データ品質APIをご活用ください！
参考