More than 5 years have passed since last update.

欠損値の出現パターンを簡単に可視化する

Last updated at 2019-11-14Posted at 2018-05-23

(An English translation is available here.)

Pythonでデータ分析をする際に、欠損値の出現パターンを簡単に可視化する方法を紹介します。

はじめに

データ分析をする際に、欠損値に対処する必要があります。方法は様々あります¹が、対処法を考える前に、欠損値の数や出現パターンを知る必要があります。この記事では、Pythonを用いてデータ分析をする際に、欠損値の出現パターンを簡単に可視化する方法を紹介します。

なお、この記事で紹介する方法については、私のGitHub repoにJupyter notebookをアップロードしてあります。下のバッジをクリックすると、Binderで実行できます。

前提

以下、Kaggleから入手できるTitanicのtrain datasetを例として紹介します。以下のコードと実行結果があるものとします。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

df = pd.read_csv('train.csv')

# 各列ごとの欠損値の数を確認します。
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
PassengerId    891 non-null int64
Survived       891 non-null int64
Pclass         891 non-null int64
Name           891 non-null object
Sex            891 non-null object
Age            714 non-null float64
SibSp          891 non-null int64
Parch          891 non-null int64
Ticket         891 non-null object
Fare           891 non-null float64
Cabin          204 non-null object
Embarked       889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.6+ KB

方法１：seaborn.heatmap

はじめに、seaborn.heatmapを使う方法を紹介します。次の一行で、大まかな欠損値の出現パターンが分かります。

sns.heatmap(df.isnull(), cbar=False)

Indexに対して、Ageは偏りなく少量、Cabinは偏りなく大量に、Embarkedは最初の方に少しだけ、という大まかな傾向がつかめます。今回のTitanic datasetではないですが、特に時系列データでは、同じ個数の欠損値でも、まとまっているかばらばらなのかを知る必要があります。この手法により、ひと目で分かります。また、仮に２つの列の欠損値の発生箇所に相関があれば、それもこの可視化によってある程度分かります。（今回のdatasetではそのような相関はなさそうです。このことも、一つの情報です。）たった一行のコードですが、heatmapを用いた欠損値の出現パターンの可視化によって、今述べたような情報を大まかに得ることができます。