#個人情報をマスキングする
ダッシュボードでデータを掲載したいものの、個人情報は情報セキュリティ的に載せられない。
CRM（顧客情報管理システム）などで手入力されるデータは表記が揺れるため、
SQLやPowerQueryには限界を感じ、自分の扱う個人情報で特に多い電話番号のマスキングに
正規表現を使用してみた。
SQLでもある程度できるが、使用しているDBで一般的なreplace関数の引数が使えず、
何度も電話番号が出現した場合は対応できないため、諦めた。
#テストデータを用意する
携帯電話と固定電話を含んだリストを作成する。
メモなどに入力され、電話番号以外にも情報があり、それは残したい想定。
data = {'ID':[1, 2, 3, 4, 5],
'Memo':['2021/12/12_テスト000-0123-4567テスト',
'2021/12/12_テスト(000)0123-4567テスト',
'2021/12/12_テスト00001234567テスト',
'2021/12/12_テスト(00)0123-4567テスト',
'2021/12/12_テスト(000-123-4567テスト']
}
df = pd.DataFrame(data)
#どの正規表現がいいか試す
##ハイフンや()を取り除いて10桁の数字を指定してみる
ハイフンや()を取り除くために、英数字以外を空白に置き換えて、
10桁の数字の場合、「***」に置き換えしてみた。
英数字以外は__\W__や__[^a-zA-Z0-9]__で表現されるらしい。
結果は以下で、電話番号自体はマスクされた。
df['masked'] = df['Memo'].map(lambda _: re.sub(r'\d{10}', r'***', re.sub(r'\W', r'', str(_))))
#out put
# ID Memo masked
#0 1 2021/12/12_テスト000-0123-4567テスト 20211212_テスト***7テスト
#1 2 2021/12/12_テスト(000)0123-4567テスト 20211212_テスト***7テスト
#2 3 2021/12/12_テスト00001234567テスト 20211212_テスト***7テスト
#3 4 2021/12/12_テスト(00)0123-4567テスト 20211212_テスト***テスト
#4 5 2021/12/12_テスト(000-123-4567テスト 20211212_テスト***テスト
しかし、日付の記号も消えるという、やや残念な様子である。
##3桁-4桁-3桁の正規表現を指定してみる
正確には、
『0-1文字の数字以外+2-3桁の数字+0-1文字の数字以外
+3-4桁の数字+0-1文字の数字以外+4桁』の数字を指定してみた。
0～9の数字は__\d__か__[0-9]__で表現される。
__{}__は、直前のものの繰り返し回数を指定できる。
\d{3}は3桁、\d{2,3}は2～3桁の、0～9の数字のどれがということになる。
__?は0-1回という意味で、[^0-9]か\D__は数字以外ということで、
__^を付けるとそれ以外という意味になる。（^__だけは、文字列の先頭）
__[^0-9]?__とすることで、0-1回の数字以外が入るという意味になる。
結果は以下で、日付は残り、電話番号自体もマスクされた。
df['masked'] = df['Memo'].map(lambda _: re.sub(r'\D?\d{2,3}\D?\d{3,4}\D?\d{4}', r'***', str(_)))
#out put
# ID Memo masked
#0 1 2021/12/12_テスト000-0123-4567テスト 2021/12/12_テスト***テスト
#1 2 2021/12/12_テスト(000)0123-4567テスト 2021/12/12_テスト***テスト
#2 3 2021/12/12_テスト00001234567テスト 2021/12/12_テスト***テスト
#3 4 2021/12/12_テスト(00)0123-4567テスト 2021/12/12_テスト***テスト
#4 5 2021/12/12_テスト(000-123-4567テスト 2021/12/12_テスト***テスト
#結果
この正規表現に当てはまる電話番号以外データがない限り、
基本的には上記でカバーできそうだった。
正規表現は情報を流し読みするだけでは理解できず、
実際にいろいろ試してみて勉強になった。
正規表現について詳しくは、書籍や他記事を参照してほしい。