- AIでデータ分析-データの前処理(17)欠損値処理：欠損を含む行の削除
- 用いるデータの紹介
- AIの活用
- まとめ
AIでデータ分析-データの前処理(17)：欠損のある行を削除
このノートは、データ分析においてAIを使って何ができて何ができないかを検証するために、実際に試した結果をまとめたノートです。
今回はデータの前処理でよく行われるチェックリスト17：欠損を含む行の削除
をAIを用いて行ってみたいと思います。
AIを用いることでいかに効率化できるのか、体験していただければと思います。
所要時間は10分ほどとなっています。
それでは、さっそく始めていきましょう！
データの紹介
今回用いる前処理練習用のcsvデータです。
サンプルデータはこちらから、チェックリストはこちらからダウンロードできます。
1行が1訪問を表すデータになっています。
AIの活用：geminiを活用
17-欠損値処理：欠損を含む行の削除
まずは欠損値のヒーマップと棒グラフを確認しておきます。
ヒートマップからは同じ行で欠損が発生しているように見えなくもないです。
欠損値の発生している行はそれぞれ約250行ずつ欠損値が発生しているようです。
それではこれに対しタスクの通りgeminiに依頼してみます。
結果を確認します。
元々5000行あったデータフレームが3880行になりました。1120行削除されたことになります。
ヒートマップと棒グラフからは同じ行で欠損値が発生している印象を受けていましたが欠損値のある行を削除した結果合計1120行削除されたということは、欠損値の発生している行は各列でバラついていたようです。
欠損値削除後の各カラムの欠損値の数も0になっており、正しく欠損値を削除できていることが確認できます。
まとめ
今回は前処理練習用のデータに対し、前処理チェックリスト17：欠損を含む行の削除 をAIを用いてできるか試しました。
結果はAIで代替できることを確認することができました。
AIでできることとできないことを把握し、うまく活用することで、データ分析もかなり効率化できそうですね！
AIでデータ分析-データの前処理(17)：欠損を含む行の削除 は以上となります！