- AIでデータ分析-データの前処理(21)-欠損処理：時系列で直前・直後の値を用いて欠損を補完する
- 用いるデータの紹介
- AIの活用
- まとめ
AIでデータ分析-データの前処理(21)-欠損値処理：
このノートは、データ分析においてAIを使って何ができて何ができないかを検証するために、実際に試した結果をまとめたノートです。
今回はデータの前処理でよく行われるチェックリスト21)-欠損処理：時系列で直前・直後の値を用いて欠損を補完する をAIを用いて行ってみたいと思います。
AIを用いることでいかに効率化できるのか、体験していただければと思います。
所要時間は10分ほどとなっています。
それでは、さっそく始めていきましょう！
データの紹介
今回用いる前処理練習用のcsvデータです。
サンプルデータはこちらから、チェックリストはこちらからダウンロードできます。
1行が1訪問を表すデータになっています。
AIの活用：geminiを活用
21-欠損処理：時系列で直前・直後の値を用いて欠損を補完する
まずは欠損値の状況をヒーマップと棒グラフで確認します。
欠損値が残っている列、それぞれ約250行ずつ欠損値が発生していることが確認できます。
今回は時系列で直前・直後の値を用いて欠損を補完するようgeminiに依頼してみます。
結果を確認します。
直前の値で欠損値を埋めるffill実行後にまだ欠損が1行残っていることが確認できます。
よくある原因としてデータフレームの1番最初の行に欠損があることが考えられます。実際に見てみます。
確かに先頭行に欠損が発生していることが確認できました。
まとめ
今回は前処理練習用のデータに対し、前処理チェックリスト(21)-欠損処理：時系列で直前・直後の値を用いて欠損を補完する。 をAIを用いてできるか試しました。
結果はAIで代替できることを確認することができました。
AIでできることとできないことを把握し、うまく活用することで、データ分析もかなり効率化できそうですね！
AIでデータ分析-データの前処理(21)-欠損処理：時系列で直前・直後の値を用いて欠損を補完する。 は以上となります！