Python
pandas
データ分析
時系列解析

Tips_03:建築設備のエネルギーデータをpandasで処理するときの注意

Pandasで処理するときの注意

建築設備のエネルギーデータ

一般に、建築設備におけるエネルギーデータは、カラム名が日本語でついます。
SnapCrab_NoName_2018-1-24_11-41-27_No-00.jpg

pandasで読み込む際も、下記のようにencoding = 'Shift-JIS'と指定してあげないとエラーを吐きます。

csv_read
# header:0行目,index_col:0行目,パースする日時:0行目
df= pd.read_csv(r'Data\\' + file + '.csv',encoding="Shift-JIS",header=0,index_col=0,parse_dates=[0])

もちろん、時系列データとしてタイムスタンプもついていますので、それぞれ指定してあげないといけません。

詳しい処理は、省きますが、元のヘッダ情報を使用して、四則演算論理演算を行ったうえで、ファイルを作成するという処理を行いました。

問題

何も考えずに、下記のコードで出したら、エラーも吐かずに出力できました。が、よくよく中身を見ると文字化けパレードだったので、別システムで読み込みができずにエラーログを大量に出していました。

csv出力問題個所
df.to_csv(r'add_items_Result\\' + file + '.csv')

解決策

結果として、下記のように読込の時と同じように出力時もencoding = 'Shift-JIS'を指定してあげないとダメみたいです。

csv出力正常
df.to_csv(r'add_items_Result\\' + file + '.csv',encoding='Shift-JIS')

まとめ

文字コードって難しい。