1.FSx for Windows
1.1.FSx For Windows File Server
AWS内のシステムからのファイル共有用です。
FSx For Windows File Serverのファイルシステムには、ファイルシステムの作成時に設定されたスループット容量があります。ファイルシステムのスループット容量は、必要に応じていつでも変更できます。
DFSR（Distributed File System Replication）を備えたファイル共有を利用できます。
共にFSという文字を含んでいて紛らわしいですが、FSx for Windows File ServerはNFSストレージとして利用することはできません。(AWS Storage Gateway ファイルゲートウェイを使います)
1.2.ADサーバーとの連携
FSx For Windows File Serverは、オンプレミスのActive Directory(AD)サーバーと連携させることができます。これにより、既存のADにおけるユーザーやアクセス権の管理を踏襲してAWS上でも同等のアクセス制御を実現することができます。
1.3.SMB (Server Message Block)
SMBは、主にWindowsを中心とした環境でLANを通じてファイル共有やプリンタ共有などに使用される通信プロトコルの総称です。OSI参照モデルでは第7層アプリケーション層に該当します。認証つきプロセス間通信機構としても動作します。
AWSでSMBファイル共有を作成するには、AWSのFSx for Windows File Serverを使用するのが一般的な方法です。
2.FSx for Lustre
FSx for Lustreは高速でスケーラベルで共有可能なストレージサービスで、機械学習などのストレージに最適です。
FSx for Lustreの特徴の一つとして、S3との連携があります。S3バケットをFSx for Lustreファイルシステムに統合すると、ファイルシステムとS3バケット間でデータを自動的にインポートおよびエクスポートします。これにより、S3に保存されているデータをFSx for Lustreから透過的に利用できるようになります。
2.1.Lustre (ラスター)
Lustreは、一般に大規模のクラスターコンピューティング・スーパーコンピュータで使用されている分散ファイルシステムです。
2.2. Amazon SageMakerとの連携
FSx for Lustreは、Amazon SageMakerとの統合が公式にサポートされており、大規模な機械学習ワークロードに対して非常に高性能なファイルストレージを提供します。
-
SageMakerトレーニングジョブの入力データとしてFSx for Lustreをマウント可能です。
-
データの前処理やバッチ処理において、大容量のファイル読み書きが必要なケースで、S3よりも高速にアクセスできます。
-
SageMaker Studio Notebooksからも、FSx for Lustreをマウントしたトレーニングインスタンスを利用できます。
-
学習済みモデルの保存や後続処理にもFSx for Lustreを活用することで、I/Oボトルネックを回避できます。
S3とFSx for Lustreを連携させておくことで、S3にあるデータをFSxで高速に処理し、結果を再びS3へエクスポートすることも可能です。