欠損値の取り扱い

1.　NaN を含むデータフレームの例

NaN は np.nan として入力する。

import numpy as np
import pandas as pd

df = pd.DataFrame({
        'a': [1, 2, 3, 4, 5],
        'b': [1.2, np.nan, 5.6, 7.8, 9.0],
        'c': ['a', 'b', 'c', 'd', 'e']
    })
df

	a	b	c
0	1	1.2	a
1	2	NaN	b
2	3	5.6	c
3	4	7.8	d
4	5	9.0	e

2.　欠損値を取り除く　`.dropna`

1 つでも欠損値のある行は，1 行全部を削除する。

dropna(axis: 'Axis' = 0, how: 'str' = 'any', thresh=None,
       subset=None, inplace: 'bool' = False)

df.dropna()

	a	b	c
0	1	1.2	a
2	3	5.6	c
3	4	7.8	d
4	5	9.0	e

3.　欠損値を特定の値に置き換える

3.1.　`fillna`

欠損値を　value で指定する値に置き換える。

fillna(value: 'object | ArrayLike | None' = None,
    method: 'FillnaOptions | None' = None,
    axis: 'Axis | None' = None, inplace: 'bool' = False,
    limit=None, downcast=None)`

df.fillna(99999)

	a	b	c
0	1	1.2	a
1	2	99999.0	b
2	3	5.6	c
3	4	7.8	d
4	5	9.0	e

3.2.　`bfill`

欠損値を直後の非欠損値で置き換える。

fillna で method='bfill' を指定するのと同じ。

bfill(axis: 'None | Axis' = None, inplace: 'bool' = False,
      limit: 'None | int' = None, downcast=None)

df.bfill()

	a	b	c
0	1	1.2	a
1	2	5.6	b
2	3	5.6	c
3	4	7.8	d
4	5	9.0	e

df.fillna(method='bfill') # df.bifill() と同じ

	a	b	c
0	1	1.2	a
1	2	5.6	b
2	3	5.6	c
3	4	7.8	d
4	5	9.0	e

3.3.　`ffill`

欠損値を直前の非欠損値で置き換える。

fillna で method='ffill' を指定するのと同じ。

ffill(axis: 'None | Axis' = None, inplace: 'bool' = False,
      limit: 'None | int' = None, downcast=None)

df.ffill()

	a	b	c
0	1	1.2	a
1	2	1.2	b
2	3	5.6	c
3	4	7.8	d
4	5	9.0	e

df.fillna(method='ffill') # df.ffill() と同じ

	a	b	c
0	1	1.2	a
1	2	1.2	b
2	3	5.6	c
3	4	7.8	d
4	5	9.0	e

4.　もっと知りたい人

help(df.dropna) # Help on method dropna in module pandas.core.frame
help(df.fillna) # Help on method fillna in module pandas.core.frame
help(df.bfill)  # Help on method bfill in module pandas.core.frame
help(df.ffill)  # Help on method ffill in module pandas.core.frame