s3に10万ファイルをアップロードするには534秒かかる(僕の環境では)

めもです

wslで10万ファイル作成(5分くらい?)

mkdir ~/many-files; cd many-files
for i in `seq 1 1000000`; do touch dummy$i.txt; done

(touch {...コマンドで作成する方法だと、10万ファイル対象では数が多すぎるエラーがでて作成できなかったので、for/seqでやりました)

アップロード

cd ~
date; time aws s3 cp many-files s3://bucketname/ --recursive > /dev/null; date

(標準出力にアップロード状況ががーっと出力されるのがいやなのとスピードに影響しそうなのでnullに送っています)

しばらく経過後

Fri Oct  7 16:30:13 JST 2022

________________________________________________________
Executed in  534.17 secs    fish           external
   usr time  394.02 secs  234.00 micros  394.02 secs
   sys time  109.78 secs  256.00 micros  109.78 secs

Fri Oct  7 16:39:07 JST 2022

アップロード中のローカルPCのパフォーマンス

• wsl
  • CPU使用率95%継続(awsプロセス)
• windows
  • CPU使用率30%継続(vmmem)
  • ディスク
    • read: 0または10～150KB程度で推移, max1.5MB
    • write: 0または150～1MB程度で推移, max15MB
  • NW
    • 送信: 3Mbps(400KB弱)前後で推移
    • 受信: 1Mbps(125KB)前後で推移
      • なぜか意外と受信もあるのだな..