はじめに
某ベンダで、クラウドの人材育成企画と研修トレーニングのデリバリを担当しています。
先日、講義の中に受講者の方から「パブリック回線を利用したS３への転送速度って、性能の目安はどのくらい？」と質問を頂きました。通常、10TBを超えると大量データの移行はAWS Snowball使いましょう、と講義では教えているのですが、実際にS3の性能を測ったことがなく解答にモゴモゴしちゃいました。世の中に色々と実測情報は出ていますが、折角なので、自分で計測してみるとにしました。
前提環境
仕事でお借りしている、某サテライト事務所のwifi環境を利用します。
USENの回線スピードテストで測定してみました。
[ネットワーク]
DOWN LOAD：25Mbps
UPLOAD: 21Mbps
[クライアント環境]
Ubuntu Server 24.10 (MacBook Air（M2）上の仮想VM)
[S3]
東京リージョン
シドニーリージョン
評価手順
1. aws-cliのインストールと設定
Ubuntu Serverを利用したので、aptコマンドを利用します。依存関係を解決してaws-cliをインストールします。便利ですねー、以前はパッケージを個別に入手してたハズが本当に楽になりました。インストール後にaws configureで、各種設定を行います。
# apt install awscli
# aws --version
aws-cli/2.17.3 Python/3.12.7 Linux/6.11.0-9-generic source/aarch64.ubuntu.24
# aws configure
# aws configure list
2. アップロード転送用にデータの作成
乱数生成機能を利用して、アップロード転送用に500MB、100MBのデータをそれぞれ作成します。本当はGB単位で転送データを作りたいのですがディスク容量が少ないので、小さなデータで実験します。
# dd if=/dev/random of=500_data bs=1M count=500
# dd if=/dev/random of=100_data_3 bs=1M count=100
3. S3の作成とファイルのアップロード評価
aws cliのコマンドラインで、500MBのデータと100MBのデータをそれぞれアップロードしてtimeコマンドで時間を計測します。
○ 500MBのデータをアップロードした場合
# time aws s3 cp 500_data s3://{東京リージョンのバケット名}
upload: ./500_data to s3://{東京リージョンのバケット名}/500_data
real 3m23.277s
user 0m6.374s
sys 0m4.306s
# time aws s3 cp 500_data s3://{シドニーリージョンのバケット名}
upload: ./500_data to s3://{シドニーリージョンのバケット名}/500_data
real 5m33.144s
user 0m7.945s
sys 0m5.217s
○ 100MBのデータを順次アップロードした場合
# time aws s3 cp 100_data_1 s3://{東京リージョンのバケット名}
upload: ./100_data_1 to s3://{東京リージョンのバケット名}/100_data_1
real 0m31.305s
user 0m1.425s
sys 0m1.243s
# time aws s3 cp 100_data_1 s3://{シドニーリージョンのバケット名}
upload: ./100_data_1 to s3://{シドニーリージョンのバケット名}/100_data_1
real 1m39.429s
user 0m1.753s
sys 0m0.934s
[トラブル発生] 時刻ズレのエラーが出てしまった
実測中に以下のトラブルが出てしまいました。
An error occurred (RequestTimeTooSkewed) when calling the CreateMultipartUpload operation: The difference between the request time and the current time is too large.
仮想VMの時間設定をサボっていたので、時間ズレが発生してしまったようです。
timedatectlコマンドでクライアント側の時刻を合わせて、無事に問題解決しました。
# timedatectl set-timezone Asia/Tokyo
# date
Thu Oct 31 07:22:36 JST 2024
おわりに
リージョンで比較すると、想定通り、近隣のリージョン>>遠方のリージョンで性能差が出ていました。ネットワーク環境がそんなに良いものではなかったのですが、もう少し速度の出る環境だと1GB/分くらいアップロードの性能が出てもおかしく無さそう、かなと思います。数テラ単位のデータ転送だと、十分S3へのネットワーク転送でも要件は満たせそう。実は朝と深夜で性能評価したのですが、時間帯でも性能に大分揺れがありました。パブリック回線を使う限り、混まない時間帯を利用することが鉄則ですね。
今回、実測は淡々と進んだのですが、MackBook Air(M2)に何の仮想化機構を使うか悩んでしまいました。Intel Mac時代にVirtual Boxが秀逸だったので長年利用していたのですが、今回を機会にVMware Fusionに仮想化機構を引っ越ししました。VMware Fusionって、今年の春先から無償で利用できるようになったんですね。まだまだ修行です。