スクレイピングで出力した、複数csvファイルをunionして、pandasのデータフレームにして分析に用いたときのpythonコードメモ。
import pandas as pd
import glob
csv_files = glob.glob('data/*.csv')
data_list = []
for file in csv_files:
df = pd.read_csv(file)
# 列名の.を_に変更
df = df.rename(columns=lambda x: x.replace('.', '_'))
data_list.append(df)
df = pd.concat(data_list, axis=0, sort=True)