製造業出身のデータサイエンティストがお送りする記事
今回は、探索的データ解析（EDA）の一つであるPandas-profilingを試してみた。

##はじめに
探索的データ解析（EDA：Exploratory data analysis）は、機械学習などのデータ分析業務を実施する際に、データの理解を目的として実施する作業を指します。
つまり、現場の問題を解決する際に、どのようなデータセットを扱っているのか、どのような状況にあるのかを、しっかりと理解するのが重要であり、探索的データ解析は上記を目的とした作業です。

##Pandas-profiling実行例
今回は、探索的データ解析ツールの一つである「Pandas-profiling」を使ってみようと思います。

今回もUCI Machine Learning Repositoryで公開されているボストン住宅の価格データを用いてPandas-profilingを実装します。

pythonのコードは下記の通りです。

# 必要なライブラリーのインポート
import pandas as pd
import numpy as np
import pandas_profiling as pdp

from sklearn.datasets import load_boston

次にデータを読み込みます。

# データセットの読込み
boston = load_boston()

# データフレームの作成
# 説明変数の格納
df = pd.DataFrame(boston.data, columns = boston.feature_names)

# 目的変数の追加
df['MEDV'] = boston.target

# データの中身を確認
df.head()

次にPandas-profilingを実装します。

report = pdp.ProfileReport(df)
report.to_file('Pandas-profiling_report.html')

これで実装は終了です。
後は、出力されたhtmlファイルを使って分析をしていきます。

##Pandas-profilingで分析できる内容

最初にデータの概要が分かります。
データの型や欠損率、サンプル数とかがパッと分かります。

各カラムの基本情報やヒストグラムも一目で分かります。

各変数同士の相関関係も分かります。

欠損率もカラム別に分かれております。

##さいごに
最後まで読んで頂き、ありがとうございました。
探索的データ解析をこんなに簡単にできるのは非常に便利だと思いました。また、htmlファイルに出力されるので、関係者へ結果を共有する際にも便利だと思いました。

訂正要望がありましたら、ご連絡頂けますと幸いです。