Pandas の transform と apply の基本的な違い

Pythonのデータ分析ライブラリpandasのgroupby オブジェクトに使う transform と apply の違いについて、整理したいと思います。ドキュメンテーションなんでちゃんと書いてないねん！

書く際には以下のstack overflowのサイトを参考にしています。

https://stackoverflow.com/questions/27517425/apply-vs-transform-on-a-group-object

下のデータを使っていきます。

import pandas as pd
import numpy as np


df = pd.DataFrame({'Year': [1997, 1997, 1997, 1998, 1999],
                   'Japan': [100, 100, 300, 200, 100],
                   'USA': [200, 100, 300, 400, 500],
                   'Canada': [400, 300, 200, 100, 400]},
                  index=['1', '2', '3', '4', '5'])
df

Out:

	Year	Japan	USA	Canada
1	1997	100	200	400
2	1997	100	100	300
3	1997	300	300	200
4	1998	200	400	100
5	1999	100	500	400

Pandas の groupby オブジェクトに使う apply

イメージとしては、グループされたものをグループごとに圧縮してしまう感じ。

import numpy as np
df.groupby('Year').apply(np.sum).drop('Year', axis=1)

	Japan	USA	Canada
Year
1997	500	600	900
1998	200	400	100
1999	100	500	400

5行あったのが3行に圧縮されたのがわかると思います。

#Pandas の groupby オブジェクトに使う transform
イメージとしては、グループされたものにグループ内の要素分に情報を一個ずつ足す感じ。

df.groupby('Year').transform(np.sum)
df

	Japan	USA	Canada
1	500	600	900
2	500	600	900
3	500	600	900
4	200	400	100
5	100	500	400

1行目、2行目、3行目は全て同じ合計となり、applyのように圧縮されない。
なので下のように列をもとのgroupbyする前のデータフレームに足すことも可能です。

df['Canada Yearly Sum'] = df.groupby('Year').transform(np.sum)['Canada']
df

	Year	Japan	USA	Canada	Canada Yearly Sum
1	1997	100	200	400	900
2	1997	100	100	300	900
3	1997	300	300	200	900
4	1998	200	400	100	100
5	1999	100	500	400	400

データフレームは圧縮されないのでこのようにデータフレームに値を1行ずつ足して行くことも可能

#終わりに
transform, apply ともにうまくやれば頭良く問題を解決できそうですね。これからもちょっとこの二つのアルゴリズムで試行錯誤していこうと思います。