■ライブラリのインポート

import pandas as pd
import glob

■一括で読み込み

file_paths = glob.glob("天気\*.csv")
df = pd.DataFrame()
for file in file_paths:
    tmp = pd.read_csv(file, encoding='cp932')
    df = pd.concat([df,tmp])

以上がファイル読込とDFの作成（連結）方法。

おまけ
読込ファイル名などをカラムとして指定したい場合
※今回だと都市名ファイルをスライスして抽出

file_paths = glob.glob(r"天気\*.csv")
df = pd.DataFrame()
for file in file_paths:
    tmp = pd.read_csv(file, encoding='cp932')
    tmp["都市"] = file[-7:-3] #ファイル名の一部をカラム追加したい場合はココで指定
    df = pd.concat([df,tmp]) #縦に結合

都市の文字数によって一部うまくいっていない

■データクレンジング

#末尾のカンマ消し
df["都市"] = df["都市"].apply(lambda x: x.replace(".","") if str(x).endswith(".") else x)
#津市など一文字都市対応
df["都市"] = df["都市"].apply(lambda x: x.replace("気","") if str(x).startswith("気") else x)
#\\削除
df["都市"] = df["都市"].apply(lambda x: x.replace("\\","") if str(x).__contains__("\\") else x)

クレンジング後の都市名