@Tokes1posted at 2023-10-21

python pandas 複数CSVの読み込みでUnicodeDecodeErrorの解決方法

Q&A

解決したいこと

python pandas 複数CSVの読み込みでUnicodeDecodeErrorの解消

pythonで複数のcsvを繰り返し読み込んで１つのデータにしたいのですが
下記コードの中の(pd.read_csv(file))の箇所で
UnicodeDecodeErrorが発生します
解決方法をご教授いただけますと幸いです。

発生している問題・エラー

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 0: invalid start byte

該当ソースコード

python

import pandas as pd
import glob
csv_files = glob.glob(r'C:\Users\test*.csv')

list = []

for file in csv_files:
list.append(pd.read_csv(file))

df = pd.concat(list)
df.to_csv('test_total.csv',index=False)

試したこと

①(pd.read_csv(file),encoding = 'Shift-jis')など
　よく使われる文字コード指定試しました
②読み込みたいCSVの保存形式はCSV(コンマ区切り)(*.csv)でした
③メモ帳などで確認した際の右下はANSIになっていました
④pd.read_csv(r'C:\Users\test*.csv',encoding = 'ANSI')では
　1つごとには読み込めました
⑤(pd.read_csv(file),encoding = 'ANSI')ではエラーになりました

以上よろしくお願いいたします。

4Answer

@HalHarada posted at 2023-10-21

for file in csv_files:
   list.append(pd.read_csv(file))

list.appendではデータフレームが横一列のリストになるのでは？

pandasのデータフレームに直接読み込んで、データフレームを追記する方が良いと思います。

df = pd.DataFrame()
for file in csv_files:
   df += pd.read_csv(file)

のような記述ができた？　うろ覚えですみません。サイトのとおりで。。。

1Like

Comments

@Tokes1
Questioner
回答いただきありがとうございます
UFT-8形式ではできたのですが
やはりUnicodeerrorになってしまいました

サイトよく読み込んで色々試してみます
ありがとうございました
@Tokes1
Questioner
HalHaradaさまのご回答の
DataFrameで追記する方法に変えて
試したところやりたいことができました
ありがとうございました！
@HalHarada
解決おめでとうございます。