最近、データを集計してs3
にバックアップして、そのデータをロードして、別のサービスに取り込むことが増えてきました。
で、モジュールを調べたらsmart_open
に出くわしました。
超便利なので、紹介します。
import pandas as pd
with smart_open("s3://some_bucket_name/ai_score/2020/09/09.csv.bz2", "r") as f
df = pd.read_csv(f) # f == encodings.utf_8.StreamReader
SmartOpen: https://pypi.org/project/smart-open/