探索的データ分析の第一歩に便利なpandas-profilingの導入と概要

はじめに

機械学習のデータの前処理工程において、pandas等を用いて、いろいろとデータを眺めながら探索的データ分析をすると思いますが、データの可視化を1コマンドで簡単にやってくれるツール｢pandas-profiling｣というものがあるので、それを紹介します。

導入

ターミナル

$ pip install pandas-profiling

#ライブラリインポート

import pandas as pd
import pandas_profiling as pdp

#仕様
タイタニックのデータで試してみます。タイタニックがわからない人は｢kaggle タイタニック｣で調べて下さい。

dataframe = pd.read_csv('train.csv')

コマンドは1文のみです。

pdp.ProfileReport(dataframe)

出力結果は結構なボリュームなのでhtmlファイルに落とす方が見やすいです。

html = pdp.ProfileReport(dataframe)
html.to_file(output_file='dump.html')

#アウトプット
##Overview
データの概要を教えてくれます。列数（Number of variables）、行数（Number of observations）、欠損値数（Missing cells）、重複列（Duplicate rows）

##Variables
各項目（列）毎のデータ概要を教えてくれます。年齢（Age）のアウトプット例です。

##Interactions
列と列の関係を教えてくれます。年齢と運賃のアウトプット例です

##Correlations
列と列との相関を教えてくれます。

##Missing values
欠損値の情報を教えてくれます。

#最後に
初心者にもわかるように、Pythonで機械学習を実施する際の必要な知識を簡便に記事としてまとめております。
目次はこちらになりますので、他の記事も参考にして頂けると幸いです。