AIでデータ分析-データ前処理AIでデータ分析-データ前処理(37)-エンコーディング：Count / Frequency Encoding

今回はデータの前処理でよく行われるチェックリスト(37)-エンコーディング：Count / Frequency Encoding　をAIを用いて行ってみたいと思います。

AIを用いることでいかに効率化できるのか、体験していただければと思います。

所要時間は10分ほどとなっています。

それでは、さっそく始めていきましょう！

データの紹介

今回用いる前処理練習用のcsvデータです。

サンプルデータはこちらから、チェックリストはこちらからダウンロードできます。

1行が1訪問を表すデータになっています。

まずはPythonで実行します。

結果を確認します。

所要時間30分でした。

今度は同じことがAIでもできるか下記のようにgeminiに依頼します。

結果を確認します。

AIはFrequency Encodingにおける欠損値発生に対して全体の頻度の平均値で補完までしてくれてることが確認できました。

Frequency Encodingは高基数カテゴリに対する前処理として有効とのことですが、個人的には、高基数であるが故に検証データにしか存在しないカテゴリが出現しやすく、結果として欠損値が発生する可能性があり、情報損失に繋がりそうなため

Frequency Encoding高基数カテゴリに対する前処理として不適切なのではと違和感がありました。

今回は時間の都合上省略しますが、上記を踏まえても高基数カテゴリに対する前処理として依然としてFrequency Encodingが有効とされておりましたので

同じように違和感を感じた方はぜひ調べてみていただけると良いかと思います。

所要時間1分でした。

今回は前処理練習用のデータに対し、前処理チェックリスト(37)-エンコーディング：Count / Frequency Encoding　をAIを用いてできるか試しました。

結果はAIで代替できることを確認することができました。

AIでできることとできないことを把握し、うまく活用することで、データ分析もかなり効率化できそうですね！

AIでデータ分析-データの前処理(37)-エンコーディング：Count / Frequency Encoding　は以上となります！