re:Invent 2022で発表されたストレージ関連のアップデートをまとめました
小林さんの資料から抜粋させていただいております。（小林さん、毎年ありがとうございます！）
S3 Access Point で共有時の権限委譲が可能に
- Amazon S3 Access Pointでアカウントをまたいだ共有時、権限付与を共有される側に権限委譲（デリゲーション）できるようになった
- バケットの所有者は、共有される側のアカウントで作成されたアクセスポイントに対してアクセス権を付与することができる
- 共有される側のアカウントは、そのアカウントにあるアクセスポイントを介して共有されたバケットとデータセットにアクセスする
- 共有する側が許可した権限の範囲で、共有される側のアカウントの管理者はユーザに対してどういった権限を付与するかを決定できる（許された範囲内での権限付与をデリゲーション）
- すべてのAWS商用リージョンと、AWSGovCloud(US)リージョンで利用可能
S3 Multi Region Access Points failover control を発表
- Amazon S3 Multi Region Access Point は異なるリージョンの複数のバケットにまたがるデータセットにアクセスするためのエンドポイント
- アクセスポイントに対してアクティブ／パッシブ構成による冗長化が可能に
- 通常はアクティブなリージョンのアクセスポイントでトラフィックを処理し、問題が発生した場合にのみスタンバイのリージョンで処理を行う
- 切り替えは通常数分で実行可能
- 追加料金なしで利用可能
Amazon EBS io2 ボリュームが SRD ベースに
- Amazon EBS io2 ボリュームが SRD ベースで稼働し、レイテンシとスループットが改善される
- SRD(Scalable Reliable Datagram) は AWS が開発したネットワークプロトコルで、 AWS の環境に最適化することで安定性と低レイテンシを実現
- SRD を適用することで書き込みレイテンシを、特に P99.999 などロングテール部分で最大 90% 改善。スループットも 4 倍に向上
- 2023 年の早い段階で適用予定
Torn Write Prevention が I4i/EBS/RDS で利用可能に
- Torn Write Prevention(TWP)はストレージへの書き込みをトランザクショナルにし、中途半端な状態を生まないようにする機能で、16KiBブロックまでの書き込みについて整合性が保証される
- MySQLやMariaDBなどのデータベースを実行している場合、二重書き込みを無効にできる。耐久性を犠牲にすることなく最大30%性能が向上
- I4iインスタンスのインスタンスストレージ、NitroベースのインスタンスのEBSで利用可能。RDSはOptimized Writeという形で利用できる
- 東京、シドニー、バージニア、オレゴン、アイルランドにて
Amazon EFS の Elastic Throughput を発表
- アプリケーションが必要とするスループットを、必要なだけ提供するElastic Throughput モードを利用可能に
- 必要なパフォーマンスを設定する必要がなく、必要な分だけ利用できるのでシステム設計が簡素に
- 読み取りスループットは最大 3GiB/ 秒、書き込みスループットは最大 1GiB/ 秒となる
- 料金体系は従量課金。読み取りは $0.04/GB 、書き込みは $0.07/GB となる（東京リージョンの価格）
- 東京、大阪を含む各リージョンにてご利用可能に（中国は除く）
Amazon EFS のレイテンシ低減のための改善を発表
- Amazon Elastic File System(EFS) でレイテンシを低減するための改善を実施したことを発表
- 高頻度にアクセスするファイル・メタデータへの読み込みレイテンシを最大 60% 短縮
- 64KB 以下の小さいファイルとメタデータに対する書き込みレイテンシを最大 40% 短縮
- 典型的なワークロードは上記の条件に合致するので、多くのケースで効果を発揮する。例えばコンテンツ管理や分析、 CI/CD など
- バージニアリージョンにて汎用モードで稼働するファイルシステムが対象。他リージョンには順次展開予定
Amazon EFS でライフサイクルポリシーの短縮が可能に
- Amazon EFSでライフサイクルポリシーとして「1日」を設定できるようになった
- ライフサイクルポリシーはアクセスされないファイルを自動的にInfrequent Access(IA)クラスに移行し、コストを削減するために利用できる
- 従来の7, 14, 30, 60, 90日に加えて1日という期間を設定できるようになったことで、より積極的にEFS IAにファイルを移行しコストを抑えることが可能になった
FSx for NetApp ONTAP のスループット上限が 2 倍に
- Amazon FSx for NetApp ONTAP のファイルシステムあたりのスループットキャパシティと最大IOPS が 2 倍に
- スループットは 2GB/s から 4GB/s に、 SSD IOPS は 80,000 から160,000 に向上
- 4GB/s に設定した場合、 SSD の読み取りスループット 4GB/s 、160,000 IOPS に加えて NVMe キャッシュはスループット 6GB/s 、 650,000 IOPS を提供。書き込みスループットは 1.8GB/s
- 動画のレンダリングやデータベースなどの高いパフォーマンスが要求されるワークロードで活用しやすくなった
- オハイオ、バージニア、オレゴン、アイルランドで提供開始
FSx for NetApp ONTAP で VPC 外アクセスが容易に
- Amazon FSx for NetApp ONTAP の Multi AZ ファイルシステムに関して、オンプレミスやピア接続からアクセスするためのネットワーク設定がシンプルになった
- 従来 FSx for NetApp ONTAP にアクセスするエンドポイントの IPアドレスレンジを VPC に含まれない範囲を指定する必要があり、VPC 外からのアクセスの際にはルーティング設定が必要だった
- 今回のアップデートで VPC CIDR 範囲から IP アドレス範囲を指定できるようになり、 Transit Gateway への追加設定の手間を軽減Transit Gateway 自体は必要）
- オンプレミス等からのアクセスを迅速かつ簡単に実現
- Amazon FSx for NetApp ONTAP をサポートする
- すべてのリージョンで利用可能に
新世代の Amazon FSx for OpenZFS を発表
- Amazon FSx for OpenZFS で新世代のファイルシステムを発表。最大スループットと IOPS が 2 倍になり、NVMe キャッシュを備える
- 最大スループットは 10GB/s 、最大 350,000IOPS
- 最大 2.5TB の高速 NVMe キャッシュは、 1,000,000IOPS を超える読み取り性能を数百 μsec のレイテンシーで実現
- NFS 互換のシンプルな ストレー ジとして動画処理やレンダリング、金融分析、機械学習などの高パフォーマンスが要求されるワークロードで活用可能
- 容量およびスループットあたりの料金は従来と同一
- オハイオ、バージニア、オレゴン、アイルランドで提供開始
AWS Backup がリーガルホールドに対応
- AWS Backupで設定された保持ポリシー期間を超過しても保持し続ける「リーガルホールド」に対応できるようになった
- 法的な要求や監査面での要求に対応するため、例外的に長期間のデータ保持が求められる要件に対応できる
- AWS Backup Vault Lockと組み合わせることで、コンプライアンス要件に対応することが容易に
- 東京、大阪をはじめ各リージョンにてご利用可能に
AWS Backup で CloudFormation スタックの保護が可能に
- AWS Backup が CloudFormation スタック単位のバックアップとリストアをサポート
- スタックとして管理されるシステム全体をまとめてバックアップ・リストアすることが可能になった
- バックアップを実行すると、 CloudFormation テンプレートと、スタックに含まれており、 AWS Backup がサポートする全てのリソースの recovery point が生成される
- AWS Backup Vault Lock を併用することでシステム全体にわたって、変更不可能な バックアッ プを自動的に取得できる
- 東京、大阪を始め各リージョンで利用可能に
AWS Backup で管理者権限の委任が可能に
- AWS BackupがAWS Organizations内のメンバーアカウントに管理者権限を委任できるようになった
- 組織の中でアカウントを跨いだバックアップポリシーの作成やバックアップの監視を行う際の手間を削減し、組織全体の一元管理も可能に
- 東京、大阪を含む各リージョンにてご利用可能に
AWS Backup が Amazon Redshift をサポート
- AWS Backupを利用してAmazon Redshiftの手動スナップショット取得をスケジューリングしたり、復元したりできるようになった
- AWS Backupによるバックアップの一元管理にRedshiftも組み込むことが可能になり、データ保護の強化や、セキュリティやガバナンスの向上につながる
- 東京や大阪をはじめ各リージョンでご利用可能
AWS Backup Audit Manager がレポート一元化に対応
- AWS Backup Audit Manager で、 AWSOrganizations によって管理される複数のアカウントに渡って一元的なレポーティングが可能に
- AWS Organizations の管理アカウントで AWS Backup AuditManager の report plan を作成することで、 Organizations で管理される任意のアカウントについてデータ保護ポリシーやバックアップ リストアの履歴データを集約したレポートを生成可能に
- アカウントやリージョンをまたがったコンプライアンス対応が容易に
- 東京リージョンを始め各リージョンで利用可能に
AWS Data Exchange for Amazon S3 を発表
- AWS Data Exchange のサブスクライバ ユーザ がデータプロバイダの S3 バケットに直接アクセスできるようになった
- ユーザ側で S3 等の置き場を作成してデータをコピーしたりアップデートしたりといった運用が不要になり、リソースコストも低減
- Athena 、 EMR 等のアナリティクスサービスは プロバイダの S3 バケット内の最新のデータに対して直接実行できる
- プロバイダーは自分の S3 バケット全体または一部のプレフィックスを対象に簡単に公開のセットアップができる
- AWS Data Exchange をサポートする全てのリージョンでプレビュー提供開始
AWS Data Exchange for AWS Lake Formation を発表
- AWS Data Exchange のサブスクライバ ユーザ が AWS Lake Formation を介してデータを利用できるようになった
- サブスクライブしたデータはユーザーの AWS アカウントのLake Formation カタログ上で参照でき、自社のデータレイク内のデータと同じ方法で検索や分析を実行できる
- データを入手してから組織内の様々なユーザーが価値を創出できるまでの時間を短縮
- プロバイダは自分の AWS アカウントの Lake Formation データレイクで公開するデータにタグをつけて準備
- 東京を含む 11 リージョンでプレビュー提供開始
Data Exchangeとは？という方は、AWS Data Exchangeのワークショップでサクッと学んでみてはいかがでしょう（英語です）
re:Capのご案内
2023/1/14(土) JAWS-UG横浜 #52 AWS re:Invent 2022 Recap Storageでキャッチアップを行いますのでぜひぜひご参加ください！