s3で、大量のファイル（10万とか）をコピーしたい時、どうされていますか？
＊ディレクトリ名をちょっと変えたいとかで、大量のディレクトリとファイルがある場合
boto3でプログラム組んで、コピーしようとしたら、ゾッとする遅さでした。
管理コンソール上で数秒で終わるコピーが、何分もかかるとは、思わなかった・・・
今回の方法は、やや制約（gzipになる、HIVE形式でディレクトリ出力される）は発生しますが、同じ溝にはまった人はご参考までに。
s3で大量コピー：boto3(python)の場合
boto3 pythonで実行したところ、100ファイルごとに30秒前後かかっていて、震えました。。。
目の前の25万ファイルを目にして。
30秒×25万ファイル＝2083時間 = 87日 もかかる・・・
Athenaでやってみた
どうしようか、、、と考えて、思いついた方法
「AthenaのINSERT INTOを使おう！」
という話です。
[手順]
(1) COPY元のテーブルを作成
（ディレクトリをパーティションに指定）
- コツ： テーブルカラムはstringに統一した方が面倒がないかも
(2) COPY元のパーティションを追加してください。
MSCK REPAIR TABLEは超遅いから、 ALTER TABLEでやりましょう。
例えば、日付("dt", YYYYMMDD形式)をパーティションキーにする場合のコードを載せておきます。
from datetime import datetime , timedelta
start_day = datetime.strptime('2020-10-15','%Y-%m-%d') #例えば2020/10/15 ~
last_day = datetime.strptime('2021-05-10','%Y-%m-%d') # 2021/5/10までのデータをコピーする時
q = 'ALTER TABLE old_table ADD IF NOT EXISTS' # q に ALTER TABLEが入る
part = " PARTITION (dt='{dt}') LOCATION 's3://bucket/path/to/{dt}/'"
dts = [] # ここには、100パーティションの "dt in ({parttion})" に指定するリストが入る
key = []
ctr = 0
while start_day.timestamp() <= last_day.timestamp():
ctr +=1
d = start_day.strftime('%Y%m%d')
q += part.format(dt=d)
key.append("'{}'".format(d))
start_day += timedelta(days=1)
if ctr >=100:
dts.append(",".join(key))
key = []
ctr = 0
if ctr >0:
dts.append(",".join(key))
(3) COPY先のテーブルを作成
（ディレクトリをパーティションに指定）
＊ [制約]HIVE形式（ /dt=xxxx/ になる)
* [制約]出力はgzip形式になる
(4) パーティション数が100以上になる場合は、100単位で分割
Athenaは一気に100パーティション以上扱えないらしい。
だから、パーティション100個分ずつ、実行する必要がある。
(5) INSERT INTOを実行
・一応重複がないように、ファイル名が一致したら取り込まないようにする
[追記/訂正] こちら、new."$path"としてますが、ファイル名変わるのでカラムとして取り込まないとダメでした。すいません。
INSERT INTO new_table (select old.* from old_table as old left join new_table as new on egexp_extract(old."\$path", '[^/]+$') = regexp_extract(new."\$path", '[^/]+$') where new."$path" is null and dt in ('20201015','20201016' )
[結果]
-> ざっくりですが、250ディレクトリ、 25万件ほどのファイルコピーが実行３回（合計、15分くらい）で終わった。
よかった。。。
Athenaって便利ですね。
他にも方法があるのかもしれませんが。