More than 1 year has passed since last update.

EDAの段階でよく使われるライブラリについてご紹介します。

Posted at 2023-10-03

私よく使っているのは以下の3つです。

①pandas-profiling
こちらは結構前からあったライブラリで、ご存じの方も多いと思います。
私にとっては定番のライブラリみたいで、基本データをもらった時には一回これを実行して、全体像を把握します。
importして呼び出すと、以下のようなOutputが表示されます。

②Sweetviz
pandas-profilingより機能が多いですが、少し重いです。
*特徴としては二つのデータセットを比較できます。（trainとtestの比較とか）

③pandasGUI
こちらはレポートの生成ではなく、操作可能なGUIを生成します。
Excelのピボットみたいな機能もあって、ピボットよりは使いやすいです。

pandas-profilingやSweetvizとpandasGUIを組み合わせてEDAをすると、かなり効率的に作業を進めることができます。
その後の特徴エンジニアリングの参考にもなりますので、ぜひ試してみてください。