LoginSignup
10
1

More than 1 year has passed since last update.

@seijitanabe(Seiji Tanabe)inネットアップ合同会社

Amazon EKSで使えるPersistentVolumeについて比べてみた

Last updated at Posted at 2022-03-17

はじめに

  • Amazon EKSでステートフルアプリケーションを構築する際にPersistentVolumeをどのストレージサービスで提供するのが良いのかを考えてみた。
  • 可能な限り公式の情報を参照しているが、万が一誤った情報があればひたすら陳謝するのみである。
  • 2022年3月時点での情報なので将来どうなるかは神のみぞ知る。

まずはググる

  • 「eks persistentvolume」というキーワードでググってみると、検索結果の最上位に以下の記事が出てきた。こちらの記事によると、Amazon EBSかAmazon EFSを使えるらしい。

  • ちょっとググり方を変えて「eks csi driver」キーワードでググってみると、検索結果の最上位に以下の記事が出てきた。こちらの記事はEBS用のCSI driverの情報であるが、ドキュメントを遡るとEKSのPersistentVolumeとして使えるのはAmazon EBSか、Amazon EFSか、Amazon FSx for Lustreか、Amazon FSx for NetApp ONTAPの4択とのこと。

  • Amazon FSx for Lustreは用途が限られていてあまり汎用的ではない気がするので、より汎用的に使えそうな次の3択で比較することとする。

    1. Amazon EBS（以下、EBS）
    2. Amazon EFS（以下、EFS）
    3. Amazon FSx for NetApp ONTAP（以下、FSx for ONTAP）

比べてみた

ストレージサービス自体の比較

  • まずは単純にストレージサービス自体を比較をしてみた。
  • 比較項目は、一般的にストレージ選定にあたり考えておくべきポイントを網羅しているつもりである。
  • 前提として、EBSは一般的によく本番利用する可能性が高いであろうgp2/gp3/io1/io2を対象とした。

比較表

比較項目 EBS EFS FSx for ONTAP
容量
  • gp2/gp3: 1GB～16TB
  • io1/io2: 4GB～16GB
 無制限
  • プライマリストレージ: 1TB～192TB
  • 容量プール: 無制限
プロトコル iSCSI NFS（v4.0、v4.1）
  • SMB（2、3.1.1）
  • NFS（v3、v4.0、v4.1）
  • iSCSI
AZ冗長性 シングルAZ（EBS単体ではSPOF） マルチAZ マルチAZ
可用性
  • gp2/gp3/io1: 99.8%～99.9%
  • io2: 99.999%
 99.99% 99.99%
バックアップ（格納データ自体の保護） EBSスナップショット
  • AWS Backup
  • EFS-to-EFS バックアップ
  • NetApp Snapshot
  • FSxのバックアップ
バックアップ（ボリューム障害からの保護） EBSスナップショット
  • AWS Backup
  • EFS-to-EFS バックアップ
 FSxのバックアップ
バックアップ（リージョン障害からの保護） EBSスナップショットのリージョン間コピー クロスリージョンレプリケーション SnapMirror（ONTAPのレプリケーション機能）
ストレージ効率化機能 なし Intelligent-Tiering
  • ストレージ階層化
  • 重複排除/圧縮
  • シンプロビジョニング
最大IOPS/ボリューム
  • gp2/gp3: 16,000IOPS
  • io1/io2: 64,000IOPS
  • 汎用モード:
    • 読み取り: 35,000IOPS
    • 書き込み: 7,000IOPS
  • 最大I/Oモード:
    • 読み取り: 500,000IOPS以上
    • 書き込み 100,000IOPS以上
  • デフォルト: TBあたり3,000IOPS
  • オプション: デフォルト（TBあたり3,000IOPS）に加えて最大80,000IOPSまで追加可能
最大スループット/ボリューム
  • gp2: 250MB/s
  • gp3/io1/io2: 1,000MB/s
  • バーストスループットモード: TBあたり最大100MB/s（バーストクレジットが使用可能な場合）
  • プロビジョンドスループットモード: 1024MB/s
 2048MB/s
月額コスト（参考） 1,357.83 USD 921.60 USD 500.66 USD
  • 月額コストについては、課金体系が異なるので以下条件でAWS Pricing Calculatorで比較してみた。条件によって大きく変わるのであくまで参考情報。
    • リージョン: 東京リージョン
    • サイズ: 1TB（FSx for ONTAPの最低容量に合わせた。）
    • 性能: プロビジョンドスループット128MB/s（FSx for ONTAPの最低スループットに合わせた。EBSの場合IOPS指定なので適当にブロックサイズ8KBとしてIOPSに換算して16,384‬IOPSのio1を選択した。）
    • バックアップ: 今回は無しで計算
    • 階層化や重複排除/圧縮などのストレージ効率化機能: 今回は無しで計算

所感

  • 性能（IOPS、スループット）はサービス毎に仕様が違い過ぎて横並びで比較が難しそうなので一旦スルーしておく。
  • コストについてもあくまで参考情報なので深く言及はしないが、EBSはio1でプロビジョンするIOPS次第ではかなりいいお値段になってしまうことがわかった。PersistentVolume用途に限らず、ストレージ性能が求められる場合は考え無しにEBSを使うのも見直した方がいいかもしれない。
  • EBSはio2以外は可用性も低く、シングルAZのみというのは本番環境のPersistentVolumeとしては致命的な気がする。
  • EFSは容量の制限が無いところが良さそう。NFSv3が未サポートなのはちょっと慎重になるケースもあるかもしれない。
  • FSx for ONTAPは容量が1TBからと少し大きめだが、バックアップやストレージ効率化などの機能が充実しているので運用面やコスト面で良さそう。NFS（v3含め）とiSCSIの両方に対応しているのはより汎用性が高そう。

CSI driverの比較

  • KubernetesからストレージをPersistentVolumeとして扱うにはCSI driverが必要ということで、CSI driverの観点でも比較してみる。
  • 前提として、EBSとEFS用のCSI driverはAWSが提供しているもの、FSx for ONTAP用のCSI driver（Tridentという名前）はNetAppが提供しているもの、という違いがある。どちらも無償で使える。

比較表

比較項目 EBS EFS FSx for ONTAP
アクセスモード Read/Write Single Pod Read/Write Multiple Pods Read/Write Multiple Pods
Dynamic Provisioning 〇 〇 〇
サポートする機能
  • Raw Block
  • Snapshot
  • Expansion
 -
  • Raw Block
  • Snapshot
  • Expansion
  • Cloning
  • Topology

所感

  • EBS用CSI driverは、普通に使う分にはさほど問題なさそう。
  • EFS用CSI driverは、Kubernetes CSI Developer DocumentationやEFS CSI driverのGutHubをなどを参照する限り、機能としてのExpansionは無いがEFS自体が容量を指定するものではなく自動拡張していく、というか無限に使えるものなので実質拡張はできる。（厳密には、Kubernetes側の仕様上何かしら適当な容量を指定しないといけないけど、CSI driverのAPIではそれをEFSに渡さず無視して容量としては無限に使えるという仕組みのよう。）SnapshotやCloningなどは対応していないのでKubernetesのレイヤーからこのようなオペレーションをしたい場合は採用できない。
  • FSx for ONTAP用CSI driver（Trident）は、最も機能が充実しており、まず困ることはなさそう。

結論: 最有力候補はFSx for ONTAP

  • EBSは、可用性があまり高くないのとシングルAZのみということが不安材料。可用性と性能の要件が高くなければEBSでも良いかもしれない。
  • EFSは、性能を確保しようとすると割高になり、機能面があまり充実していないので、遅くても良くてシンプルに使うだけであれば良いかもしれない。
  • FSx for ONTAPは、可用性や性能の要件が高い場合は最もコスト効率よく使えそう。CSI driver側の機能も充実しているところも高評価。
  • PersistentVolumeはそれなりに可用性や性能が求められるであろうデータベースで使う場合が多いと思うので、EKSで使うPersistentVolumeとしてはFSx for ONTAPが一番汎用性が高そう。
  • ということで、Amazon EKSでステートフルアプリケーションを構築するときはまずFSx for ONTAPを検討しよう。

主な参照元

10
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
10
1