search
LoginSignup
0

posted at

updated at

[Python]複雑な大量のファイルを処理したい

やりたいこと

  • Python でこんなファイルを処理したい
  • 同じようなファイルがめちゃある

サンプルファイル

  • ひとつのセルに、長々しいデータが入っている。
    image.png

Step

# パスを変数に入れる
path = "abc/def"
file_list = glob.glob(path + "/test.csv)

# 空のデータフレームを作成
df_cp_memory = pd.DataFrame()
for file in file_list:
# スラッシュで区切る
    df2 = pd.read_csv(file, header=None , sep='/' )
  # 空のデータフレームに、フ変数にいれたファイルを入れていく
  # 一つ大きなテーブルができる
    df_cp_memory = pd.concat([df_cp_memory, df2])

# 確認
print(df_cp_memory)

# Excelに書き出す
df_cp_memory.to_excel(path + '/cp_memory.xlsx', index=True , header=True )

そのほか

skiprows=1 を設定すると、最初の一行目スキップされる

df2 = pd.read_csv(file, header=None , sep='/' , skiprows=1)

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
What you can do with signing up
0