［Python］複雑な大量のファイルを処理したい

やりたいこと

• Python でこんなファイルを処理したい
• 同じようなファイルがめちゃある

サンプルファイル

• ひとつのセルに、長々しいデータが入っている。
  

Step

# パスを変数に入れる
path = "abc/def"
file_list = glob.glob(path + "/test.csv)

# 空のデータフレームを作成
df_cp_memory = pd.DataFrame()
for file in file_list:
# スラッシュで区切る
    df2 = pd.read_csv(file, header=None , sep='/' )
　　# 空のデータフレームに、フ変数にいれたファイルを入れていく
　　# 一つ大きなテーブルができる
    df_cp_memory = pd.concat([df_cp_memory, df2])

# 確認
print(df_cp_memory)

# Excelに書き出す
df_cp_memory.to_excel(path + '/cp_memory.xlsx', index=True , header=True )

そのほか

skiprows=1 を設定すると、最初の一行目スキップされる

df2 = pd.read_csv(file, header=None , sep='/' , skiprows=1)