numpyとpandasの役立つ処理まとめ

実務で使う中で良いと思ったものをメモとして載せておきます。

numpy

数える：np.unique

np.unique, return_countsが結構便利。
pandasのvalue_counts、collectionsのCounterでもいいけど、numpyをimportしてない時はまずないので一番使いやすい。

t=np.random.randint(0, 10, 10)
print(t)
#[2 0 9 9 8 1 3 2 1 8]
print(np.unique(t, return_counts=True))
#(array([0, 1, 2, 3, 8, 9]), array([1, 2, 2, 1, 2, 2], dtype=int64))

対数変換：np.log1p, np.expm1

np.logよりnp.log1pのほうが役立つときもあるから覚えとく、対応はnp.expとnp.expm1

t = np.array([2**i for i in range(-5, 5)])
print(t)
[ 0.03125  0.0625 0.125 0.25 0.5 1. 2. 4. 8. 16.]
print(np.log1p(t))
[0.03077166 0.06062462 0.11778304 0.22314355 0.40546511 0.69314718 1.09861229 1.60943791 2.19722458 2.83321334]
print(np.log(t))
[-3.4657359  -2.77258872 -2.07944154 -1.38629436 -0.69314718  0.  0.69314718  1.38629436  2.07944154  2.77258872]

小さい順の確認：np.argsort

argsortでn番目の値がどこにあるかがわかる、t[np.argsort(t)]でソートになる
argsortを二回繰り返すことでこの値がn番目なのかを表示できる
同値の場合はインデックスが小さい順

pp = np.random.randint(0, 10, 10)
print(pp)  # [8 0 9 7 2 5 6 1 0 0]
print('argsort', pp.argsort())  # argsort [1 8 9 7 4 5 6 3 0 2]
print('何番目に小さいか', pp.argsort().argsort())  # 何番目に小さいか [8 0 9 7 4 5 6 3 1 2]

one-hot化：np.eye

np.eyeに数字の配列を渡すとto_categoricalと同値となる

n =5
t = np.random.randint(0, n, 10)
np.eye(n)[t] #one-hot配列が出来上がる

pandas

補間pd.interpolate

[9, 10, 10, 10, 11, 11, np.nan, np.nan, 13, 15, 17,]みたいな整数の積算値でdiffを取ると「nan 1.0 0.0 0.0 1.0 0.0 nan nan nan 2.0 2.0」てなって美しくない。
少数としては増えてるというのを、変化したてないところをnanにした後にinterpolateで書く

nn = pd.Series([9, 10, 10, 10, 11, 11, np.nan, np.nan, 13, 15, 17,])
print(*nn.diff()) # nan 1.0 0.0 0.0 1.0 0.0 nan nan nan 2.0 2.0

 #indexが0より後でdiffが正じゃないところをnanに変える
nn.loc[~(nn.interpolate(method='pad').diff()>0) & (nn.index!=nn.index[0])] = np.nan
print(*nn.interpolate().diff().round(3)) # nan 1.0 0.333 0.333 0.333 0.5 0.5 0.5 0.5 2.0 2.0

時間設定・集計：pd.todatetime, tz_convert, resample

タイムゾーン大事
resampledで時間ごとに集計可能

df['datetime'] = pd.to_datetime(df['datetime'], utc=True)
df = df.set_index(['datetime'])
df.index = df.index.tz_convert('Asia/Tokyo')
df30 = df.interpolate(method='pad', axis=1).resample('30T').mean()

チェーンエラー対策：pd.copy, values

dfから一部抽出したいときはcopy()を使うことを意識する、SettingWithCopyWarning対策
https://qiita.com/HEM_SP/items/56cd62a1c000d342bd70
pythonはDF、list等は関数に参照で渡される。関数の中で参照かコピーか判明していないと不便なので初めにcopyするなど、明示的に連携を切る意識も大事
値だけ取り出すときはvalues
関数に渡してもpandasは中で書き換わるので、df = input_df.copy()としたりもする。メモリに余裕あれば。

join_df30_light = join_df30[kido_yoso_1df.index].copy()
y = join_df30_light[target_col].values
x = join_df30_light.drop(target_col, axis=1).values

ループ処理高速化 values

pandasはアクセスがめちゃくちゃ遅い、valuesで変換してnumpyにして扱うのがよい
https://kunai-lab.hatenablog.jp/entry/2018/04/08/134924
itertuplesでも同じくらいの速度なのでこちらを使う場合も。itterowsは良くない。

aa=pd.Series(np.random.rand(100000))
aa2=aa.values
for i in range(len(aa)):
    aa[i]  # 846ms
    aa2[i]  # 16ms

データ参照：df.iloc, df.columns.get_loc

locとilocは文字と数字どちらかしか取れないので、ちょっと気を付ける

df.loc[df.index[num], col_name]
df.iloc[num, df.columns.get_loc(col_name)]

数える・区分：df.value_counts(), pd.cut

value_countsどんなのが多いのか調べるときに便利
cutはたまに使うかも

tt=pd.DataFrame({'a':np.random.randint(0,20,20)})
print(tt['a'].value_counts())
tt['cut'] = pd.cut(tt['a'], 4)
tt['cut_shitei'] = pd.cut(tt['a'], [-1, 5, 7, 10, 100])
tt['qcut'] = pd.qcut(tt['a'], 4, labels=False)
tt.sort_values('a')

エンコーディング：df.groubpy().fransform()

groupbyのtranformを使えばカテゴリ変数のエンコーディングがしやすい
tranformの中はaggと同じでlambdaとかも使える

df=pd.DataFrame()
df['a'] = np.random.randint(0, 4, 100)
df['b'] = np.random.rand(100)
df['c'] = df.groupby('a').transform(lambda x: x.argsort().argsort())

追加：df.append

空のDF作ってappendで追加してくのがやりやすかった

df = pd.DataFrame()
df = df.append(df2)

抽出：pd.isin

同じ列からいろいろ抽出したいときはisinを使用、

t1 = air_con_use_df[(air_con_use_df['para']=='El') | (air_con_use_df['para']=='Cal') |
                         (air_con_use_df['para']=='Inte') | (air_con_use_df['para']=='Flow')].index
t2 = air_con_use_df[air_con_use_df['para'].isin(['El', 'Cal', 'Inte', 'Flow'])].index
(t1==t2).all()　# True

データロード：pd.read_csv

read_csvをするときは型の推論がかかるので保存したときの型とあっているか注意
pickleのほうが型が保存されるし、読み込みが早いという話がある（要確認）
encodingしないと文字化けするときがある、excelでcsvを編集した場合は注意が必要
最近はparquet形式が圧縮も速度も良くてお気に入り

pd.read_csv('xxx.csv')
pd.read_csv('xxx.csv', encoding='cp932')  # excelからcsvを作った場合はこれで動くはず

# 以下、https://qiita.com/ctn15/items/501d8f838234f2308490　より
%time df1 = pd.read_pickle('/Users/data/alldata.pickle')
CPU times: user 3.36 s, sys: 2.86 s, total: 6.22 s
Wall time: 6.82 s

%time df2 = pd.read_csv('/Users/data/alldata.csv')
CPU times: user 29.2 s, sys: 8.65 s, total: 37.8 s
Wall time: 42 s

結合：merge, join, concat

それぞれちょっとずつ違う、一番使うのはmergeかな
mergeはpd.meage(df, df2)もできる

df_ab = pd.DataFrame({'a': ['a_1', 'a_5', 'a_2', 'a_3'], 'b': ['b_1', 'b_2', 'b_3', 'b_4']})
df_ac = pd.DataFrame({'a': ['a_1', 'a_2', 'a_5', 'a_4'], 'c': ['c_1', 'c_2', 'c_5', 'c_4']})

df_ab.merge(df_ac, on='a', how='right')　#rightの順で並ぶ
df_ab.merge(df_ac, left_index=True, right_index=True, how='inner') # 正しい結合ではないけど参考として
df_ab.join(df_ac[['c']]) # 正しい結合ではないけど参考として
# そのうち追加予定

カテゴリタイプ：Categorical

objectよりもcategoryのほうが==が早いので多用する場合はカテゴリ化したほうが快適

df = pd.DataFrame()
df['a'] = [f'x_{np.random.randint(10000)}' for i in range(1000000)]
df['b'] = np.random.rand(1000000)
df2 = df.copy()
df2['a'] = pd.Categorical(df2['a'], categories=df2['a'].unique())
df[df['a']=='x_1000']['b'].median()　#Wall time: 60.8 ms
df2[df2['a']=='x_1000']['b'].median() #Wall time: 4 ms