pandas 読み込み／書き込み

csv ファイルの処理

AWS S3のファイルを読み込んでCP932でファイルに書く

AWSのファイルはUTF-8なので読み込み指定し、書き込み時はcp932にして書く。

            dfData = pd.read_csv(url, encoding="utf-8")
            dfData.to_csv(filename, encoding="cp932")

巨大なファイルを読み込んでcp932でファイルに書く

巨大なファイルはメモリも気になるので、分割して読んで追記する。
確認はしていない。

dfData = pd.read_csv(url, encoding="utf-8", chunksize=1000)
isTop = true
for value in dfData:
    if (isTop):
        dfData.to_csv(filename, encoding="cp932", header = False, index = False)
        isTop = false
    else :
        dfData.to_csv(filename, encoding="cp932", mode="a", header = False, index = False)