python pandas 複数CSVの読み込みでUnicodeDecodeErrorの解決方法
解決したいこと
python pandas 複数CSVの読み込みでUnicodeDecodeErrorの解消
pythonで複数のcsvを繰り返し読み込んで１つのデータにしたいのですが
下記コードの中の(pd.read_csv(file))の箇所で
UnicodeDecodeErrorが発生します
解決方法をご教授いただけますと幸いです。
発生している問題・エラー
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 0: invalid start byte
該当ソースコード
python
import pandas as pd
import glob
csv_files = glob.glob(r'C:\Users\test*.csv')
list = []
for file in csv_files:
list.append(pd.read_csv(file))
df = pd.concat(list)
df.to_csv('test_total.csv',index=False)
試したこと
①(pd.read_csv(file),encoding = 'Shift-jis')など
よく使われる文字コード指定試しました
②読み込みたいCSVの保存形式はCSV(コンマ区切り)(*.csv)でした
③メモ帳などで確認した際の右下はANSIになっていました
④pd.read_csv(r'C:\Users\test*.csv',encoding = 'ANSI')では
1つごとには読み込めました
⑤(pd.read_csv(file),encoding = 'ANSI')ではエラーになりました
以上よろしくお願いいたします。
0
