LoginSignup
0
0

More than 1 year has passed since last update.

Simple Data Integrator (SDI) 実践入門:データの監視、検知 (イレギュラーデータや欠落データ、不整合データなどの検知)

Last updated at Posted at 2022-05-16

はじめに

Simple Data Integrator (SDI) はデータ連携成功、失敗、対象データがない時それぞれ通知する機能があります。その機能を活用してイレギュラーデータや欠落データ、不整合データなどを検知、通知することができます。

イレギュラーデータ検知例

イレギュラーデータ検知の方法はイレギュラーデータ検知のSQLを使ってデータ抽出、CSVへエクスポートします。
処理成功の場合メール送信します。

データチェック要件例

社員マスタの中に誕生日は現在日付以降のデータをチェック、抽出

マッピング処理フロー

image.png

設定方法

コネクション設定

Source、Targetへの接続を設定。
Source はOracle , TargetCSVファイルです。
設定方法は下記の記事を参照:
https://qiita.com/RiCCT/items/787a41bb54277a3b26c2

ソースコネクション名 ターゲットコネクション名
HRMS_ORACLE
CSV_EXPORT

マッピング設定

1 .「新規マッピング」ボタンをクリックしてマッピング設定画面を開きます。

image.png

2 . ソースコネクション、クエリ、ターゲットコネクション、CSV名を設定

image.png

No 項目 説明
1 マッピング名 マッピング名を入力、任意の名前設定できます。システムは名前の重複チェックしていないですが、管理上、ユニークの名前の設定をお勧めします。
2 ソースコネクション HRMS_ORACLEを選択
3 タイプ クエリを選択
4 クエリのSQL詳細 SELECT *
FROM EMP
WHERE BIRTHDAY>SYSDATE
5 コネクションコネクション CSV_EXPORTを選択
6 CSVファイル名 出力のCSVファイル名を入力
7 カラム一覧取得 カラム一覧取得ボタンをクリックしてテーブル定義明細取得
8 マッピング対象 CSVファイルに出力するカラムを選択

3 . メール送信設定

3.1 詳細設定 ボタンをクリックして、詳細設定画面を開くます。

image.png

3.2 処理フロー画面上、処理成功時処理 Yes を選択。その下の詳細設定ボタンをクリックして、メール送信内容を設定します。

image.png

3.3 メール内容設定

image.png

注意

メール送信するため、送信メールサーバーの設定が必要です。詳細は下記のページを参照してください。
https://ja.sdi.ricct.com/userguide/mailsetting/

No 項目 説明
12 メール送信 メール送信をチェックします
13 メール詳細 (送信先、件名、本文など)を設定。※複数のチェックの送信内容類似の場合テンプレートを設定できます。
14 出力されたファイル添付チェック イレギュラーデータのCSVをメールに添付したい場合、チェックしてくOださい。

メール設定画面と処理フロー画面のOK ボタンをクリックして、マッピング画面に戻ります。

4 . テスト実行

マッピング実行 ボタンをクリックして、動作確認します。

イレギュラーデータが存在する場合、設定された内容のメールが送信されることを確認します。

5 . 保存

保存 ボタンをクリックして、マッピング設定を保存します。

6 . スケジューラーに登録

適切な頻度で自動チェックするため、スケジューラーを作成してマッピングを登録します。
スケジューラー設定につきまして、下記のページを参照してください。
https://ja.sdi.ricct.com/userguide/schedule/

欠落データのチェック

欠落データ - 存在するはずのデータがないことを指します。

欠落データチェックの場合、チェック用のSQLを用意すれば、イレギュラーデータチェックと類似の設定方法で実現できです。

メール送信の設定は対象データない場合処理に設定します。
image.png

マッピング処理フロー

image.png

不整合データのチェック

不整合データチェックの場合、チェック用のSQLを用意すればイレギュラーデータチェックと同じ設定方法で実現できます。

以上です。

Simple Data Integrator (SDI) 実践入門

参考資料

SDI日本語公式サイト
SDI English Official Website
SDIマップイング設定

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0