重複データの処理

列単位でユニークな値，行単位でユニークな行についての処理を行う。

import pandas as pd
df = pd.DataFrame({
    'a': [4, 4, 1, 5, 1, 3, 4, 3, 5, 3, 3, 4, 3, 3, 5],
    'b': [4, 1, 4, 3, 1, 2, 4, 4, 2, 1, 1, 1, 1, 3, 3]
})
df

	a	b
0	4	4
1	4	1
2	1	4
3	5	3
4	1	1
5	3	2
6	4	4
7	3	4
8	5	2
9	3	1
10	3	1
11	4	1
12	3	1
13	3	3
14	5	3

1.　ユニーク値の個数　`nunique`

行，列で，ユニークな値の個数を求める。

Usage: nunique(axis: 'Axis' = 0, dropna: 'bool' = True)

df.nunique()

a    4
b    4
dtype: int64

2.　ユニーク値とその頻度（度数分布） `value_counts`

データ中に出現するユニークな値の個数だけが知りたいということはあまりないと思われる。

value_counts は，ユニークな値とその出現頻度を集計する。統計学でいえば度数分布を求めるということである。

Usage: value_counts(subset: 'Sequence[Hashable] | None' = None,
                    normalize: 'bool' = False, sort: 'bool' = True,
                    ascending: 'bool' = False, dropna: 'bool' = True)

df['a'].value_counts()

3    6
4    4
5    3
1    2
Name: a, dtype: int64

df['a'].value_counts(ascending=True)

1    2
5    3
4    4
3    6
Name: a, dtype: int64

クロス集計的なものもできる。

df.value_counts(['a', 'b'])

a  b
3  1    3
4  1    2
   4    2
5  3    2
1  1    1
   4    1
3  2    1
   3    1
   4    1
5  2    1
dtype: int64

しかし，望まれるのは多分次項の pd.crosstab() であろう。

3.　クロス集計（二次元度数分布）

統計学でいう，クロス集計表を求める。

 Usage: crosstab(index, columns, values=None, rownames=None,
                 colnames=None, aggfunc=None, margins: 'bool' = False,
                 margins_name: 'str' = 'All', dropna: 'bool' = True,
                 normalize=False)

pd.crosstab(df['a'], df['b'])

b	1	2	3	4
a
1	1	0	0	1
3	3	1	1	1
4	2	0	0	2
5	0	1	2	0

4.　重複行の除去

行単位で同じ内容を持つ行を削除する。

Usage: drop_duplicates(subset: 'Hashable | Sequence[Hashable] | None' = None,
                       keep: "Literal['first'] | Literal['last'] | Literal[False]" = 'first',
                       inplace: 'bool' = False, ignore_index: 'bool' = False)

df.drop_duplicates()

	a	b
0	4	4
1	4	1
2	1	4
3	5	3
4	1	1
5	3	2
7	3	4
8	5	2
9	3	1
13	3	3

5.　もっと知りたい人

help(df.nunique)         # Help on method value_counts in module pandas.core.frame
help(df.value_counts)    # Help on method value_counts in module pandas.core.frame
help(pd.crosstab)        # Help on function crosstab in module pandas.core.reshape.pivot
help(df.drop_duplicates) # Help on method drop_duplicates in module pandas.core.frame