Talend Data Preparation Desktopでのクレンジング機能
前回はTalend Data Preparation Desktopでの基本的な使い方を紹介しました。
この中で文字列置換と日付フォーマット指定を紹介しましたが、他にも多数のクレンジング機能がありますので一覧で紹介したいと思います。
列を対象にしたクレンジング機能
- Compare numbers
指定した値または他の列の値と比較を行いBoolean型を返す - Add,multiply,subtract or divide
指定した値または他の列の値と四則演算を行い結果を返す - Negate value
Boolean型に対して否定値を返す - Concatenate with
指定した値または他の列の値と結合を行い結果を返す - Delete column
選択した列の削除（複数指定可能） - Swap column
指定した列の値と入れ替える - Convert distance
距離単位で変換する（メートル、インチ、フィート、ヤード、マイル、海里、光年） - Convert duration
日時単位で変換する（年、月、日、時、分、秒、ミリ秒） - Convert temperature
温度単位で変換する（華氏、摂氏、ケルビン） - Clear on matching value
指定した条件に一致するセルをクリアする - Clear the cells with invalid values
無効な値を持つセルをクリアする - Delete the rows that match
指定した条件に一致する行を削除する - Delete the rows with empty cell
空のセルを持つ行を削除する - Delete the rows with invalid cell
無効なセルを持つ行を削除する - Delete the rows with negative values
負の値を持つ行を削除する - Fill cells with value
指定した値または他の列の値で埋める - Fill empty cells from above
空のセルを一つ上のセルの値で埋める - Fill empty cells with text
空のセルを指定した値または他の列の値で埋める - Fill invalid cells with value
無効なセルを指定した値または他の列の値で埋める - Standardize value(fuzzy matching)
値の標準化（ファジーマッチング） - Mask data(obfuscation)
データの一部をXに置換してマスキングする - Calculate time since
指定した日時または他の列の日時との経過時間を計算する - Calculate timestamp to date
現在日時までのタイムスタンプを計算する - Compare date
指定した日付または他の列の日付との比較を行いBoolean型を返す - Convert date
指定したフォーマット（暦）の日付に変換する - Extract date parts
列の日時から各指定の部分（年月日など）を抽出する - Modify date
指定した単位（年月日時）で指定した値または他の列の値を加算する - base 10 logarithm
10を底とする対数を計算する - Calculate absolute value
絶対値を計算する - Cosine
余弦（コサイン）を計算する - Exponential
指数を計算する - Max
指定した値または他の列の値と比較を行い最大値を返す - Min
指定した値または他の列の値と比較を行い最小値を返す - Modulo
指定した値または他の列の値との剰余演算値を返す - Natural logarithm
自然対数を計算する - Negate
否定値を返す - Power
二乗値を計算する - Sine
正弦（サイン）を計算する - Square root
平方根を計算する - Tangent
正接（タンジェント）を計算する - Format numbers
数値を指定した書式で返す - Generate sequence
指定した開始値と増加数で連番を生成する - Remove fractional part
小数部分を削除して返す - Remove negative values
セルの値が負数なら削除する - Round value using ceil mode
指定した小数点桁数で丸めて返す - Round value using down mode
指定した小数点桁数で切り捨てして返す - Round value using floor mode
指定した小数点桁数で切り上げして返す - Round value using halfup mode
指定した小数点桁数で四捨五入して返す - Format phone number
電話番号を指定したフォーマットで返す - Extract email parts
Emailをローカルとドメインで分割して返す - Extract number
数字のみを抽出して返す - Extract string parts
指定した正規表現で文字列部分を抽出して返す - Extract URL parts
URLをプロトコル、ホスト、ポートで分割して返す - Split the text in parts
文字列を指定した区切文字で指定した数で分割して返す - Calculate length
値の桁数を返す - Change to lower case
大文字を小文字に変換して返す - Change to title case
先頭が小文字なら大文字に変換して返す - Change to upper case
小文字を大文字に変換して返す - Contains text
指定した値または他の列の値があるか比較しBoolean型を返す - Extract parts of text
セル内から指定した条件で文字列として抽出する - Match similar text
セル内に指定したテキストと一致するか比較しBoolean型を返す - Matches pattern
セル内が指定した正規表現と一致するか比較しBoolean型を返す - Remove consecutive characters
セル内に指定した文字が連続していれば１文字削除する - Remove part of the text
セルの値が指定した条件と一致すれば削除する - Remove trailing and leading characters
セル内の先頭と末尾から指定した文字を削除する - Search and replace
指定したパターンと一致する箇所を指定した値に置換する - Add extra characters
指定した桁数を満たす部分に指定した文字を追加する - Find and group similar text
セルから類似テキストの検索とグループ化を行う - Remove non alpha numeric characters
セルの値から英数字ではない文字を削除する - Remove non numeric characters
セルの値から数字ではない文字を削除する - Simplify text(remove case,accent,etc,)
セル内のテキストの簡略化（大文字小文字の区別、アクセントなど）
行を対象にしたクレンジング機能
- Delete row
指定した行を削除する（複数指定可能） - Make as header
指定した行の値でヘッダーを作成する
表を対象にしたクレンジング機能
- Delete empty rows
空の行を削除する - Remove duplicate rows
重複している行を削除する - Format phone number
データ内の電話番号を指定したフォーマットで返す - Remove trailing and leading characters
データ内の先頭と末尾から指定した文字を削除する
クレンジング機能のプレビュー
クレンジングを実行する前に画面上でプレビューすることも可能です。
Email列を大文字に変換するクレンジングで説明します。
メニューのChange to upper caseをクリックするとSUBMITボタンが表示されますので、このボタン上にマウスカーソルを置いていると表の上にPreviewと表示され始めます。
しばらくするとプレビューが開始され、Email列の値が大文字の状態で表示されます。
SUBMITボタンの上にあるCreate new columnをチェックすると、オリジナルの列は残したままで、その右に新しくクレンジングした内容の列を作成してくれます。
ほとんどのクレンジング機能にはCreate new columnのオプションがありますが、一部のクレンジング機能（分割抽出機能など）は無条件に新しい列が作成されます。
まとめ
Talend Data Preparation Desktopには多種多様なクレンジング機能があることがわかりましたが、個人的にはクレンジングの結果をプレビューして確認できるのは非常に使えるなと思いました。
次回もTalend Data Preparationの機能について紹介していきたいと思います。