pandasを使って大量データ処理する場合、
数GBの処理に数十分〜数時間、下手したら数日かかるということが往々にしてある
処理が遅いと進む作業も進まなくなるので
簡単なソースコード修正で高速化出来る方法をメモ
DataFrameのsumやmeanは数値データのみで行う
| index | name | weight | height |
|---|---|---|---|
| 0 | Tanaka | 160.1 | 60.1 |
| 1 | Suzuki | 172.4 | 75.0 |
| 2 | Saitou | 155.8 | 42.2 |
| ... | |||
| 999998 | Morita | 167.9 | 94.07 |
| 999999 | Satou | 177.7 | 80.3 |
例えば、上記のようなデータフレームがあり、
weightとheightの平均値を求める場合、下記のように処理を記述すると思われる
Badパターン
import pandas as pd
sr_means = df.mean()
mean_height = sr_means['height']
mean_weight = sr_means['weight']
しかし、文字列を含む列 name のせいで上記コードの場合、計算に非常に時間がかかる
下記のように記述を変更することで、処理が桁違いに高速になる
Goodパターン
import pandas as pd
sr_means = df[['height', 'weight']].mean()
mean_height = sr_means['height']
mean_weight = sr_means['weight']
追記：書いた後に気になって調べたら、数値だけで行うオプションが合った
追記：Goodパターン
import pandas as pd
sr_means = df.mean(numeric_only = True)
mean_height = sr_means['height']
mean_weight = sr_means['weight']
実際に時間を計ってみる
実測
import pandas as pd
import numpy as np
N = 100000
df_test = pd.DataFrame(
{
'name':['abc'] * N,
'weight': np.random.normal(60, 5, N),
'height': np.random.normal(160, 5, N)
}
)
print("df_test.mean()")
%time df_test.mean()
print("df_test[['height', 'weight']].mean()")
%time df_test[['height', 'weight']].mean()
上記の結果が下記。
計算する列が一つ減ったということを考慮しても、後者の方が4桁ぐらい桁違いに早い。
結果
df_test.mean()
Wall time: 3.06 s
df_test[['height', 'weight']].mean()
Wall time: 4 ms
高階関数(map)を使おう
例えば、列 weight を整数に丸める処理を行うとき round関数 を使いますが
pythonや今時ぽい書き方に慣れていないと、for文を使った方法で書きがち
高階関数 map を使っていきましょう。
（高階関数が何なのかについてはこの記事では割愛）
Badパターン
# 要素に対して round関数 を適用する
for idx in range(len(df_test['weight'].index)):
df_test['weight'][idx] = round(df_test['weight'][idx])
map を使った下記に書き直す
Goodパターン
# 要素に対して round関数 を適用する
df_test['weight'] = df_test['weight'].map(round)
今回も実際に時間を測る。for文が遅すぎるのでデータ数を先ほどより減らす
実測
def func(sr):
for idx in range(len(sr.index)):
sr[idx] = round(sr[idx])
return(sr)
N = 1000
df_test = pd.DataFrame(
{
'name':['abc'] * N,
'weight': np.random.normal(60, 5, N),
'height': np.random.normal(160, 5, N)
}
)
print("forの場合")
%time df_test['weight'] = func(df_test['weight'])
print("mapの場合")
%time df_test['weight'] = df_test['weight'].map(round)
その結果が下記。
mapなら光の速さで処理できることを、for文だととんでもなく遅くなる
たった100個のデータでこれなのだから、
100万〜1億のデータ扱うことを考えると恐ろしくなる
結果
forの場合
Wall time: 22.1 s
mapの場合
Wall time: 0 ns
上記２つの処理を改善するだけで、
データ処理１日かかっていたところを、数分で処理できるようになったということがあったので、
どんどん改善していきたいですね。