はじめに
AWSのファイルストレージサービスにはAmazon EFSとAmazon FSxファミリーがあり、
それぞれ対応プロトコルやユースケースが異なります。
SAA-C03学習の中で整理した内容を備忘録としてまとめます。
ONTAPやOpenZFSは私に馴染みが無かったので深堀してまとめています。
比較表
| サービス | プロトコル | 対応OS | 特徴 | ユースケース例 |
|---|---|---|---|---|
| Amazon EFS | NFSv4 | Linux | 完全マネージド、自動スケール(容量無制限)、複数AZ・複数EC2から同時マウント可能 | 複数のWebサーバー間で共有するCMSのアップロードファイル |
| FSx for Windows File Server | SMB | Windows | Active Directory統合、Windows ACL/DFS対応 | Windowsベースの企業向け共有ファイルサーバー |
| FSx for Lustre | POSIX/Lustre | Linux | 並列ファイルシステム、S3とのシームレスな統合、Scratch/Persistentの2種類 | 機械学習の学習データ処理、HPC、ゲノム解析 |
| FSx for NetApp ONTAP | NFS/SMB/iSCSI | Linux/Windows | マルチプロトコル対応、スナップショット・重複排除・SnapMirror等のNetApp機能 | オンプレミスNetAppからの移行、ハイブリッドDR構成 |
| FSx for OpenZFS | NFS | Linux | ZFSのスナップショット/クローン機能、高いIOPS性能 | 開発/テスト環境のスナップショットクローン活用、ZFSワークロードの移行 |
各サービスの詳細
Amazon EFS
AWSコンピューティングインスタンス向けのフルマネージドなNFSファイルシステムです。
- 容量無制限で、ファイルの追加・削除に応じて自動的に拡張・縮小する
- 複数のAZ・複数のEC2インスタンスから同時にマウント可能
- コンテナやサーバーレスサービスからも利用可能
- Infrequent Access / Archiveストレージクラスへの自動ライフサイクル管理でコストを最適化できる
FSx for Windows File Server
オンプレミスのWindowsファイルサーバーと同等の機能をフルマネージドで提供するサービスです。
- SMBプロトコルに対応し、Windows環境からネイティブにアクセスできる
- Active Directoryと統合し、既存のユーザー権限管理をそのまま利用できる
- Windows ACLやDFS(分散ファイルシステム)に対応
FSx for Lustre
スーパーコンピューティング分野で広く使われてきたオープンソースの並列ファイルシステムをベースにしたサービスです。
- 複数のコンピュートインスタンスから同時に同一ファイルへ高速アクセスできる設計
- S3バケットをデータリポジトリとしてリンクでき、S3上のオブジェクトを透過的にファイルとして扱える
- デプロイタイプとして、一時的な高速処理向けの「Scratch」と、可用性重視の「Persistent」がある
- 機械学習の学習ジョブ、ゲノム解析、金融シミュレーションなど、大量データへの高速・並列アクセスが必要なワークロードに向く
FSx for NetApp ONTAP
オンプレミスで広く使われているNetAppのONTAPストレージOSの機能を、AWS上でフルマネージドに利用できるサービスです。
- NFS・SMB・iSCSIを同時にサポートし、LinuxとWindows双方から同一ストレージにアクセス可能
- スナップショット、クローン、重複排除・圧縮によるストレージ効率化、SnapMirrorによるレプリケーションといったNetApp由来の機能を利用できる
- 高頻度アクセスデータと低頻度アクセスデータを自動的に階層分けし、コストを最適化する
- オンプレミスでNetAppを使っている企業のリフト&シフト移行や、既存のバックアップ・DRワークフローの拡張に向く
FSx for OpenZFS
オープンソースのZFSファイルシステムをベースにした、フルマネージドサービスです。
- スナップショットや、コピーオンライトによる瞬時のクローン作成が可能
- NVMe SSDベースで、低レイテンシー・高スループットを実現
- スループットキャパシティを独立して設定できる
- ZFSを既にオンプレミスで利用している開発/テスト環境の移行や、頻繁なスナップショット・クローンが必要なCI/CDパイプラインでの活用に向く
選定の切り口
- Linux共有ならまずEFSを検討し、超高性能(HPC/ML)が必要ならFSx for Lustreを検討する
- Windows環境ならFSx for Windows File Server(AD統合が決め手)
- オンプレミスの特定ストレージ製品からの移行なら、対応するFSxを選ぶと機能の互換性が高く移行が楽になる
補足:NetApp ONTAP / OpenZFSはなぜAWSに存在するのか
FSxファミリーのうち、NetApp ONTAPとOpenZFSは「AWSが独自に開発したストレージ」ではなく、
元々オンプレミスで広く使われてきた技術を、AWS上でフルマネージドに再現したサービスという成り立ちが共通しています。
| 開発元 | 主な利用層 | 移行前によく使われていた場所 | |
|---|---|---|---|
| NetApp ONTAP | NetApp社(商用ベンダー) | 大企業のエンタープライズIT部門 | 大企業のデータセンター |
| OpenZFS | オープンソースコミュニティ(元Sun Microsystems開発) | 開発者、インフラエンジニア、中小規模事業者 | 自前構築のLinux/FreeBSDサーバー、NAS環境 |
AWSがこれらを提供する狙いは、「AWSネイティブなEFSでは拾いきれない、特定技術に依存度の高い顧客層それぞれに、専用の受け皿を用意すること」にあると考えられます。
既存の運用フロー(バックアップ、DR、権限管理、社内エンジニアの習熟度)を変えずにクラウド移行できることが、これらのサービスの存在意義です。
これは、FSx for Windows File Server(Active Directory統合企業向け)やFSx for Lustre(HPCコミュニティ向け)にも共通する考え方です。
NetApp ONTAPの主な特徴
- マルチプロトコル同時対応:NFS・SMB・iSCSIを同じストレージ上で同時に扱える。Linuxからは NFS、Windowsからは SMB でアクセスする、といった混在環境を一元管理できる
- FlexVol(柔軟なボリューム管理):物理容量と切り離した論理ボリュームを柔軟に作成・リサイズできる
- スナップショット/クローン:ある時点の状態を軽量に保存し、そこから即座に複製を作成できる
- 重複排除・圧縮:同一データブロックの重複排除と圧縮により、実際のディスク使用量を削減できる
- SnapMirror(レプリケーション):別のONTAP環境(オンプレミス含む)へ非同期/同期でレプリケートでき、DR構成に使われる
- 自動階層化:アクセス頻度に応じて高性能な階層と低コストな階層(S3等)にデータを自動的に振り分ける
読み方は「オンタップ」。NetApp社は「ネットアップ」と読む。
Windowsエクスプローラーから使えるか
SMBプロトコルに対応しているため、Windowsのエクスプローラーから通常のネットワークドライブと同じ感覚で利用できる。
\\<ファイルシステムのアドレス>\<共有名> の形でアクセスし、ドライブレターを割り当てることも可能。Active Directoryと連携すれば既存の社内アカウント権限もそのまま引き継げる。
ただし、見た目の使用感はUSB等の物理外付けディスクに近いが、実態はネットワーク越しの共有ストレージである点が異なる。
| 観点 | 物理外付けディスク | FSx for NetApp ONTAP |
|---|---|---|
| 接続方式 | USB等の物理接続 | ネットワーク経由(SMB/NFS/iSCSI) |
| 同時アクセス | 基本的に1台のPCのみ | 複数のPC・サーバーから同時アクセス可能 |
| 可用性 | 単一障害点 | AWSにより冗長化されている |
| 容量拡張 | 物理的な制約あり | オンラインで拡張可能 |
なお、iSCSI対応によりブロックストレージ用途(データベースのボリューム等)にも使える点はEFSにはない特徴。iSCSI経由の場合はエクスプローラーの共有フォルダではなく、Windowsの「ディスクの管理」上でボリュームとして認識される。
OpenZFSの位置づけ
ZFSは元々Sun Microsystems(後にOracleが買収)が開発したファイルシステムで、Solaris OSに搭載されていた。
Oracleによるクローズドソース化の動きに対し、コミュニティがフォークして開発を継続しているのがOpenZFSであり、現在はLinux・FreeBSD・macOSなど幅広いOSで利用されている。
NetApp ONTAPが「ビジネス・企業向け製品としてのメジャーさ」であるのに対し、OpenZFSは「技術・エンジニアコミュニティにおけるメジャーさ」という、異なる軸での知名度の高さを持つ。
技術的な特徴として、以下がエンジニアから評価されている。
- チェックサムによる強力なデータ整合性保証(サイレントデータ破損の検知)
- コピーオンライト方式による、瞬時かつ低コストなスナップショット/クローン
- 柔軟なボリューム管理
出典(公式ページ)
AWS公式
- Amazon EFS(製品ページ)
- Amazon EFS の特徴
- Amazon EFS よくある質問
- Amazon FSx(製品ページ)
- Amazon FSx for Windows File Server
- Amazon FSx for Lustre
- Amazon FSx for NetApp ONTAP
- Amazon FSx for OpenZFS