Amazon EFSが東京リージョンにやってきたので改めて情報整理


はじめに

2018年7月に東京リージョンで一般利用可能になった Amazon EFS について

その特徴や最近のアップデートについてまとめます。

2018/12/03 Amazon FSx for Windows File Serverについて補足を追記しました。

2019/01/17 AWS Backupについて補足を追記しました。


特徴

一貫性の保証とロック機能を提供しながら共有アクセスを提供


他のストレージサービスとの違いを整理


EFS ネットワークストレージ

ディレクトリ階層にファイルとして格納されたデータ、ネットワーク上で共有する


EBS ブロックストレージ

ディスクに複数のブロックとして格納されたデータ、ローカルに接続されている


S3 オブジェクトストレージ

データは、キーで識別されるオブジェクトとして保存される


分散ストレージ

EFSは単なるNFSの共有ストレージサービスでなく、分散ストレージサービスである。

一貫性の保証とロック機能を提供しながら1000台規模の共有アクセスを提供する。

EBSはSingle AZ で提供されるサービスだがEFSは複数のAZに自動的に複製され、保存される。

これにより高い可用性とデータの耐久性を得ることができる。


強い一貫性

S3の PUT/DELETE後の 結果整合性とは異なり、全ての読み込みは最新のデータが

反映されていることが保証されている。

Amazon EFS のデータ整合性

https://docs.aws.amazon.com/efs/latest/ug/how-it-works.html#consistency

オペレーションあたりのレイテンシーに関しても、一貫した低いレイテンシーを提供する。

S3はレイテンシーが一定でないため、一貫したレイテンシーを重要視するなら、

S3よりもEFSが選択肢となる。(もちろん、Single AZ の EBS よりはレイテンシーが高い)

パフォーマンスの概要

https://docs.aws.amazon.com/ja_jp/efs/latest/ug/performance.html#performance-overview

各 AWS ストレージサービスの比較

https://www.slideshare.net/AmazonWebServicesJapan/20180704-aws-black-belt-online-seminar-amazon-elastic-file-system-amazon-efs-106065624/52


直近のアップデート


東京リージョンでの提供開始

https://aws.amazon.com/jp/about-aws/whats-new/2018/07/amazon-elastic-file-system-amazon-efs-available-in-asia-pacific-tokyo-region/


PCI DSSのへの準拠

https://aws.amazon.com/about-aws/whats-new/2018/07/amazon-efs-achieves-pci-dss-compliance/

以外にも、最近までPCIの適応対象サービスではなかった。


プロビジョンドスループットのサポート

https://aws.amazon.com/jp/about-aws/whats-new/2018/07/amazon-efs-now-supports-provisioned-throughput/

これまでは使用している容量によってスループットが変化する制限があった。

(ファイルシステムに保存されたデータの 1 TiB あたり ベースラインが 50MiB/秒で、100 MiB/秒までバースト可能。)

これが明示的にスループットを指定してプロビジョニングできるようになった。

Throughput Modes

https://docs.aws.amazon.com/efs/latest/ug/performance.html#throughput-modes

EBSの プロビジョンド IOPS SSD (io1) のようなイメージ

image.png

追加料金として MiB/秒 あたり 月額 7.20 USD (東京リージョン)が発生する。

https://aws.amazon.com/jp/efs/pricing/


ECS が Docker Volume および Volume Plugin をサポート

https://aws.amazon.com/jp/about-aws/whats-new/2018/08/amazon-ecs-now-supports-docker-volume-and-volume-plugins/

EFS ではなく ECS のアップデートだが、ECS が Docker Volume サポートしたことにより

EFS 上 に Docker Volume を作成することで、コンテナインスタンスを意識しない

永続ストレージアクセスをより簡単に設定できるようになった。

Docker Volumes

https://docs.aws.amazon.com/AmazonECS/latest/developerguide/docker-volumes.html


その他メモ


バックアップにについて

2018年8月時点でEFSのバックアップは機能としては提供されていない。

複数AZにデータが複製されているという耐久性を考えれば、データ保護目的でのバックアップは

さほど重要ではないかもしれないが、データの誤削除等により特定時点のデータに戻すことはできない。

2019/1/17に発表されたAWS BackupでEFSのバックアップをS3に取得できるようになりました。

AWS Backup – Automate and Centrally Manage Your Backups

https://aws.amazon.com/jp/blogs/aws/aws-backup-automate-and-centrally-manage-your-backups/

AWS Backupは 1/17 時点では東京リージョンに対応していないため、

AWSサービスを活用したバックアップ構成を検討する必要があります。


Windows 対応

EFSはNFSv4のみをサポートしている。

Windowsのファイル共有で使用されるSMBプロトコルには対応していない。

また Windowsの NFS クライアント機能は ネイティブに NFSv4をサポートしていないため、

Amazon EFSにおいても Windows はサポート対象外となっている。

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/WindowsGuide/AmazonEFS.html


重要

Amazon EFS は Windows インスタンスではサポートされていません。



2018/12/3 追記

AWS re:Invent 2018で Amazon FSx for Windows File Server が発表されました。

Windows Server 100%互換を謳うマネージドファイルサーバーです。

MicrosoftADとの連携や、SMBによるアクセスが実現できます。またS3へのバックアップも可能です。

EFSと異なる点としてはインスタンスはSingle AZなので、マルチAZと構成とするには

複数AZでインスタンスを構築した後にDFS(Distributed File System)による

レプリケーション構成を組む必要があります。東京リージョンは現時点で未対応です。

新発表 – Amazon FSx for Windows ファイルサーバー – 高速・完全マネージド型・セキュアなファイルサーバー

https://aws.amazon.com/jp/blogs/news/new-amazon-fsx-for-windows-file-server-fast-fully-managed-and-secure/


コスト

(当然だが)Single AZのEBSと比較すると利用料金がかかる。

ただしプロビジョニングした料金に対して課金されるEBSに対し、

EFSは実際に使用した分のみの課金。


EFS の使い方

すでにわかりやすい記事があるのでそちらを参照

Amazon Elastic File System(Amazon EFS)に触ってみた

https://qiita.com/shogo_m/items/d7d844a5da4df2732bdf


参考

以上です。

参考になれば幸いです。