8rep - Pandas 文字列削除コード

Pandasで不要文字削除

from sqlalchemy import create_engine
import pandas as pd

fname="{Pth}.csv"
reader = pd.read_csv(fname, chunksize=1000, sep='\t',low_memory = False)
df_all = reader.get_chunk() # chunkをdataframe

# 行単位欠損値判定
df_all.isnull().any(axis=1)

# 一部がNaNな行を削除
df_all=df_all.dropna(how="any")

# 削除文字指定
replace_str={
    '@': '',
    '\+': '',
    '\$': '',
    '\|': '',
    '\<': '',
    '\>': '',
    '\-': '',
    '\;': ''
}

# 特定の文字列削除
df_all["comment"]=df_all["comment"].replace(replace_str, regex=True, encoding='utf-8')

print(df_all)
df_all.to_csv('{Pth}/replace.csv', sep='\t', index=False)