1
0

More than 1 year has passed since last update.

S3へのアップロードを多重度変えてやってみた

Last updated at Posted at 2023-07-09

【結論】
 ・オブジェクト数が1,000, 2,000ぐらいだとデフォルト値から変更する意味があまりない。
 ・5,000オブジェクトだとある程度効果がみられた。

【検証結果】
 ・1オブジェクトあたりのファイルサイズ:200KB
 ・オブジェクト数:5,000
 ・インスタンスタイプ:t2.micro

max_concurrent_requests(デフォルト10) アップロード時間 平均CPU使用率
10 51.108s 60%
20 38.208s 90%
30 33.077s 94%

image.png
image.png

 ・1オブジェクトあたりのファイルサイズ:500KB
 ・オブジェクト数:2,000
 ・インスタンスタイプ:t2.micro

max_concurrent_requests(デフォルト10) アップロード時間 平均CPU使用率
10 22.635s 70%
20 20.073s 79%
30 18.985s 94%

image.png
image.png

 ・1オブジェクトあたりのファイルサイズ:1MB
 ・オブジェクト数:1,000
 ・インスタンスタイプ:t2.micro

max_concurrent_requests(デフォルト10) アップロード時間 平均CPU使用率
10 16.196s 74%
20 18.817s 93%
30 19.447s 93%

image.png
image.png

【参考】
https://docs.aws.amazon.com/cli/latest/topic/s3-config.html

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0