0

More than 3 years have passed since last update.

@tatsuya1156(tatsu zekki)

【備忘録メモ】DataSpiderで2ファイルを比較して、差分を出力した際に差分データを正しく抽出できない現象の解決法

DataSpider

Last updated at 2020-12-25Posted at 2020-12-25

DataSpiderにてCSVファイルの差分をとるスクリプトを作成しました
スクリプトでは下記の2点を行っています
➀2つのファイルを比較し、片方のファイルにしか存在しないデータを差分として抽出
➁差分が抽出された場合、差分データをファイルに出力
しかし、動作確認したところ同一ファイルの比較にもかかわらず、
差分としてデータが出力されてしまう現象が発生しました
この現象についてCSVファイル読み取り処理パーツの読み取り設定を変更することで解決したので紹介します

環境

DataSpider Cloud 1.4

詰まったところ

➀ まったく同一内容のファイルを比較

比較用ファイル(1)：inputdata1.csv

2020-12-24 (12).png

比較用ファイル(2)：inputdata2.csv

2020-12-24 (13).png

➁ 一方のファイルの1行目が差分として出力されている

差分を出力するファイル：test_diff.csv

2020-12-24 (11).png

実装内容

全体の実装

スクリーンショット (359).png

各パーツの内容

CSV形式のファイルを読み取る

2020-12-24 (3).png

2020-12-25 (9).png

単一行の文字列定数を出力します

CSV形式のファイルを読み取る

2020-12-24 (1).png

2020-12-25 (4).png

二つの入力データを比較

2020-12-25 (3).png

2020-12-25 (6).png

比較したデータから差分を抽出

2020-12-25 (2).png

差分データをCSV形式のファイルに書き込む

2020-12-24 (9).png

2020-12-24 (10).png

原因

inputdata1CSV読み取りパーツの読み取り設定タグと
inputdata2CSV読み取りパーツの読み取り設定タグの設定に差異があり
inputdata1では、最初の行は値として取得しないにチェックが入っていたため、１行目のデータが出力されています

実装した設定

解決策

inputdata1CSV読み取りパーツの読み取り設定タグと
inputdata2CSV読み取りパーツの読み取り設定タグの設定を統一します
今回のように読み取りを行うファイルにヘッダー要素がない場合は、CSV読み取りパーツの読み取り設定タグの、最初の行は値として取得しないのチェックを外します

2020-12-24 (17).png

参考

[DataSpider Cloud ヘルプ : CSVファイル読み取り処理]
(https://doc.dataspidercloud.com/v1.4/help/ja/adapter/file/csv_get_data.html)
[DataSpider Cloud ヘルプ : 結合]
(https://doc.dataspidercloud.com/v1.4/help/ja/adapter/convert/join_converter.html)
DataSpider Cloud ヘルプ : Mapper
[DataSpider Cloud ヘルプ : CSVファイル書き込み処理]
(https://doc.dataspidercloud.com/v1.4/help/ja/adapter/file/csv_put_data.html)
[DataSpider Cloud ヘルプ : 単一行文字列ロジック]
(https://doc.dataspidercloud.com/v1.4/help/ja/mapper/variable/logic/singleLineStringConstant.html)

0

Register as a new user and use Qiita more conveniently

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up

0