0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Simple Data Integrator (SDI) 実践入門:データの監視、検知 (イレギュラーデータや欠落データ、不整合データなどの検知)

Last updated at Posted at 2022-05-16

はじめに

Simple Data Integrator (SDI) には、データ連携が成功した場合、失敗した場合、対象データがない場合のそれぞれに通知する機能があります。その機能を活用して、イレギュラーデータや欠落データ、不整合データなどを検知し、通知することができます。

イレギュラーデータ検知例

イレギュラーデータの検知方法は、イレギュラーデータ検知のSQLを使用してデータを抽出し、CSVへエクスポートします。処理が成功した場合はメールで通知します。

データチェック要件例

社員マスタの中で、誕生日が現在日付以降のデータをチェックして抽出します。

マッピング処理フロー

image.png

設定方法

コネクション設定

SourceおよびTargetへの接続を設定します。
SourceはOracle、TargetはCSVファイルです。
設定方法については、下記の記事を参照してください:
https://qiita.com/RiCCT/items/787a41bb54277a3b26c2

ソースコネクション名 ターゲットコネクション名
HRMS_ORACLE
CSV_EXPORT

マッピング設定

1 .「新規マッピング」ボタンをクリックして、マッピング設定画面を開きます。

image.png

2 . ソースコネクション、クエリ、ターゲットコネクション、CSV名を設定します。

image.png

No 項目 説明
1 マッピング名 マッピング名を入力します。任意の名前を設定できますが、システムは名前の重複チェックを行わないため、管理上ユニークな名前の設定をお勧めします。
2 ソースコネクション HRMS_ORACLEを選択
3 タイプ クエリを選択
4 クエリのSQL詳細 SELECT *
FROM EMP
WHERE BIRTHDAY>SYSDATE
5 コネクションコネクション CSV_EXPORTを選択
6 CSVファイル名 出力のCSVファイル名を入力
7 カラム一覧取得 カラム一覧取得ボタンをクリックして、テーブル定義明細を取得します。
8 マッピング対象 CSVファイルに出力するカラムを選択します。

3 . メール送信設定

3.1 詳細設定 ボタンをクリックして、詳細設定画面を開くます。

image.png

3.2 処理フロー画面上、処理成功時処理 Yes を選択。その下の詳細設定ボタンをクリックして、メール送信内容を設定します。

image.png

3.3 メール内容設定

image.png

注意

メール送信のために、送信メールサーバーの設定が必要です。詳細については、下記のページを参照してください。
https://ja.sdi.ricct.com/userguide/mailsetting/

No 項目 説明
12 メール送信 メール送信をチェックします
13 メール詳細 送信先、件名、本文などを設定します。※複数のチェックで送信内容が類似する場合、テンプレートを設定できます。
14 出力されたファイル添付チェック イレギュラーデータのCSVをメールに添付したい場合は、チェックしてください。

メール設定画面と処理フロー画面のOK ボタンをクリックして、マッピング画面に戻ります。

4 . テスト実行

マッピング実行 ボタンをクリックして、動作確認します。

イレギュラーデータが存在する場合、設定された内容のメールが送信されることを確認します。

5 . 保存

保存 ボタンをクリックして、マッピング設定を保存します。

6 . スケジューラーに登録

適切な頻度で自動チェックするため、スケジューラーを作成してマッピングを登録します。スケジューラー設定につきましては、下記のページを参照してください。
https://ja.sdi.ricct.com/userguide/schedule/

欠落データのチェック

欠落データ - 存在するはずのデータがないことを指します。

欠落データチェックの場合、チェック用のSQLを用意すれば、イレギュラーデータチェックと類似の設定方法で実現できます。

メール送信の設定は対象データない場合処理に設定します。
image.png

マッピング処理フロー

image.png

不整合データのチェック

不整合データチェックの場合、チェック用のSQLを用意すれば、イレギュラーデータチェックと同じ設定方法で実現できます。

以上です。

SDIのインストール、設定、活用方法に関するその他の情報については、下記のページをご参照ください。
Simple Data Integrator (SDI) 実践入門

参考資料

SDI日本語公式サイト
SDI English Official Website
SDIマップイング設定

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?