EFS速度と安定性の雑メモ(更新中)

画面の通りEFSを作成

キャプチャを取る必要もないくらい簡単で、VPCとAZを選択して、EFSに任意のTagを付けて、IO速度を"General Purpose"か"Max I/O"か選ぶ

VPCを選ぶのでVPC縛りである。クロスVPCできない。

基本的に2ステップで、サマリ確認してCreateでしばらく待つとできあがり

とりあえずマウントする

[root@awsserver001 ~]# vim /etc/fstab
[root@awsserver001 ~]# mkdir /efs
[root@awsserver001 ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1       20G  5.9G   13G  32% /
tmpfs           3.6G     0  3.6G   0% /dev/shm
[root@awsserver001 ~]# vim /etc/fstab
[root@awsserver001 ~]# cat /etc/fstab | grep efs
us-west-xxxxx.us-west-2.amazonaws.com:/     /efs               nfs4    defaults
[root@awsserver001 ~]# mount -a
[root@awsserver001 ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/xvda1             20G  5.9G   13G  32% /
tmpfs                 3.6G     0  3.6G   0% /dev/shm
us-west-xxxxx.us-west-2.amazonaws.com:/
                      8.0E     0  8.0E   0% /efs

ファイル書き込み速度をオンプレと比較

結果として単純な書き込みについてはデータセンター内と同等かそれよりちょっといいくらいのパフォーマンスがでます

10GB

AWS(General Purpose)

[root@awsserver001 efs]# dd if=/dev/zero of=/efs/10G.dat bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 100.362 s, 104 MB/s
[root@awsserver001 efs]# du -sh 10G.dat
9.8G    10G.dat
[root@awsserver001 efs]# rm -rf 10G.dat
[root@awsserver001 efs]# dd if=/dev/zero of=/efs/10G.dat bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 99.0899 s, 106 MB/s
[root@awsserver001 efs]# rm -rf 10G.dat
[root@awsserver001 efs]# dd if=/dev/zero of=/efs/10G.dat bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 99.0707 s, 106 MB/s

AWS(Max I/O)

画面にある説明のとおり、複数EC2インスタンスからのアクセスに有効なようです。

[root@awsserver001 efs]# vim /etc/fstab
[root@awsserver001 efs]# mkdir /efs2
[root@awsserver001 efs]# mount -a
[root@awsserver001 efs]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/xvda1             20G  5.9G   13G  32% /
tmpfs                 3.6G     0  3.6G   0% /dev/shm
us-west-xxxxx.us-west-2.amazonaws.com:/
                      8.0E     0  8.0E   0% /efs
us-west-yyyyy.us-west-2.amazonaws.com:/
                      8.0E     0  8.0E   0% /efs2
[root@awsserver001 efs]# dd if=/dev/zero of=/efs2/10G.dat bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 99.4986 s, 105 MB/s
[root@awsserver001 efs]# rm -rf /efs2/10G.dat
[root@awsserver001 efs]# dd if=/dev/zero of=/efs2/10G.dat bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 128.064 s, 81.9 MB/s
[root@awsserver001 efs]# rm -rf /efs2/10G.dat
[root@awsserver001 efs]# dd if=/dev/zero of=/efs2/10G.dat bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 116.586 s, 89.9 MB/s

データセンター内のSATAディスク

[root@dcserver001 ]$ dd if=/dev/zero of=/mnt/users/10G.dat bs=1024K count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 124.141 s, 84.5 MB/s
[root@dcserver001 ]$ rm -rf /mnt/10G.dat
[root@dcserver001 ]$ dd if=/dev/zero of=/mnt/10G.dat bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 123.039 s, 85.2 MB/s
[root@dcserver001 ]$ rm -rf /mnt/10G.dat
[root@dcserver001 ]$ dd if=/dev/zero of=/mnt/10G.dat bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 122.633 s, 85.5 MB/s

その他

AWSでもデータセンターでも、1GB単発ではスループット変わらず
AWSでもデータセンターでも、1サーバーから1GBファイルを10ファイル同時でも総帯域は変わらず(1ファイルは1/10となる)

分間に一定のログを1日くらい書き込んでみる

TODO

複数サーバーから書き込み

AWS(General Purpose)

TODO

AWS(Max I/O)

TODO