本記事の目的
いわゆるデータ分析を行うまえの「前処理」に関して、備忘録的なメモです。
当たり前といえば当たり前、ただそれを漏れなく行うことは意外と難しい？
前処理とは
データ分析を機械学習を用いて行う前に、データを整形・編集する必要がある。
その処理のこと。（お料理でいうところの、下ごしらえ）
前処理のポイント
欠損値
- 欠損の埋め方はいくつか方法がある。モデルの出力にも影響するので、慎重に考えること。
- 欠損値がある行を削除するとき、他のcolumnと関連がないかどうか、注意する。例えば、column A, B, Cで欠損値があるとき、AとBでdropna()をすると、Cも欠損が無くなる場合、もある。
異常値
- 表記ゆれ: 「性別」に対し、男、男性、maleと入力
- 定義上ありえないような数値: 「金額」に対し、正ではなく負の値が入力
- 統計上ありえないような数値: 「年齢」に対し、200歳という入力
処理するまえに、できれば第三者（特に、データを提供してくれた人・会社）と確認する。
重複
- 足し合わせるのか、削除がいいのか要確認。
- データの入力時刻がある場合、ミリ秒まで同じであれば「完全な重複」とみなして削除してよいかも。そうでなければ、削除しない方が良いこともある。仕様を確認すること。
前処理について報告しなければいけないこと
- 欠損・異常・重複に対して、なにがしか操作をする場合、その根拠を明示すること。
- 特に、異常値を切るために「閾値」を設ける場合は、データの分布上その閾値が妥当である、とわかるような工夫（例：ヒストグラムで図示）をする必要がある。
- 操作の結果データが変わった（例：データ数が減った）場合は、可能な限り処理の前後の変化を書き残す（件数や、割合の変化）。