Splunkで個人情報を秘匿する

https://answers.splunk.com/answers/824299/anonymize-data-from-json-file.html?childToView=825360#answer-825360
でやったことのまとめ

趣旨

https://docs.splunk.com/Documentation/Splunk/latest/Data/Anonymizedata
に書いているとおり、個人情報が記録されているログはそのままの値をSplunkでも表示したく無い時がある。

その場合のやり方について

設定

props.conf

props.conf

 [anony_json]
 INDEXED_EXTRACTIONS = json
 KV_MODE = none
 TRANSFORMS-anony = anony, anony_raw
 TRUNCATE = 0
 TIME_PREFIX = timestamp\":\"
 SHOULD_LINEMERGE = false

transforms.conf

 [anony]
 INGEST_EVAL = d:=md5(d)
 WRITE_META = true
 
 [anony_raw]
 REGEX = (?m)(.*\"d\":\s*\"\d{4})\d+\"(.*)
 FORMAT = $1XXXXXX"$2
 DEST_KEY =_raw

解説

• props.confについては大したことをやっていない。今回はJSONのログだったのでINDEXED_EXTRACTIONSを指定した
• transforms.confは_props.conf_で抽出したフィールドをINGEST_EVALで変更している。
• :=を使用しているのは、元の値を上書きするため
• [anony_raw]は参照元の通り
• 注意点としては_raw全体を範囲とする正規表現にしないといけない

まとめ

ログ自体の修正については、_rawの変更はtransforms.confや props.confのSEDCMDで修正できる。

フィールドの値の変更についてはINGEST_EVALが適当

ただログの量においてはINDEXERの負荷が大変そうなので、それはモニタリングコンソールの結果と相談してください