AWSサービス、ストレージ

ストレージ

AWSストレージサービスについての備忘録
サービスの概要・特徴・料金などを簡潔（できれば）に記載します。

大きく３つのストレージ

• オブジェクトストレージ
• ブロックストレージ
• ファイルストレージ

Amazon Simple Storage Service (Amazon S3)

概要

インターネット経由で利用可能でスケーラビリティ、データ可用性、セキュリティ、パフォーマンスを提供するオブジェクトストレージサービス

特徴

• 99.999999999%（イレブンナイン）の耐久性を実現するように設計
• リージョン内の複数AZに冗長化される
• 1ファイル最大5TB
• 結果整合性を採用
• 静的コンテンツの配信が可能
• サーバサイド暗号化
• クライアントサイド暗号化
• バージョニング
  • ユーザやアプリケーションの誤操作による削除対策に有効
  • ライフサイクルを利用して最適化する
• マルチパートアップロード
  • 大規模データを効率的にアップロードできる
• S3のデータ受信は、無料
• S3から同一リージョン内へのデータ送信は、無料
• S3からCloudFrontへのデータ送信は、無料
• 署名付きURL（Pre-signed URL）の作成
  • 一定期間のアクセスを許可できる
• VPCエンドポイントを設定しプライベートな接続ができる
• S3 Object Lock(WORM機能、Write Once Read Many）
  • 保護モード(Retention Mode)
    • コンプライアンスモード、rootアカウントですら削除できない
    • ガバナンスモード、特別な権限で削除できる
  • 保持期間(Retention Period)、削除できない期間
  • リーガルホールド、ONになると保持期間に限らず削除できない
• S3 Analytics、standard-IAと S3 Glacier どちらにいつ移動すればよいか可視化する
• Block Public Access
  • アカウントもしくはバケットレベルで意図せずバケットがパブリックアクセスになるのを抑制する機能
  • 新規で作成されるバケット、新規で作成されるアカウントにはデフォルトで適用されている
• クロスリージョンレプリケーション
  • 異なるリージョン間のS3バケットオブジェクトのレプリケーションを実施

ストレージクラス

• S3 standard
  • 低レイテンシーかつ高スループット
  • 99.99%の可用性
• S3 Intellignet-Tiering
  • S3標準同様に低レイテンシーかつ高スループット
  • 99.9%の可用性
  • アクセス頻度が高いオブジェクトと低いオブジェクトを自動的に最適化する
  • 高頻度と低頻度という2つのアクセス階層が組み込まれている
  • 連続30日間アクセスされていないデータを低頻度のアクセス階層に移動する
• S3 standard IA
  • S3標準同様に低レイテンシーかつ高スループット
  • 99.9%の可用性
• S3 1ゾーン 程頻度アクセス
  • S3標準同様に低レイテンシーかつ高スループット
  • 99.5%の可用性
• アーカイブ S3 Glacier
  • 3種類の取り出しオプションを指定できる
  • 迅速（1～5分）
  • 標準（3～5時間）
  • 大容量（5～12時間）
  • 99.99%の可用性
• アーカイブ S3 Glacier Deep Archive
  • S3の最も低コストなストレージクラス
  • 1年で1、2回しかアクセスされないようなデータを対象
  • ７〜10年間保持されるデータの長期保存
  • 取り出し時間は12時間以内
  • 99.99%の可用性

ライフサイクルポリシー

• オブジェクトが格納されてからの経過時間によってストレージクラスを自動で変更することが可能

ユースケース

• S3 standard
  • 頻繁にアクセスされるデータ向け
• S3 Intellignet-Tiering
  • 変化するアクセスパターンのデータ向け
• S3 standard IA
  • 低頻度アクセスデータ向け
• S3 1ゾーン 程頻度アクセス
  • 再作成可能な低頻度アクセスデータ向け
• S3 Glacier
  • 長期保管で、あまりアクセスされず、アーカイブするクリティカルなデータ向け

Amazon S3 Glacier

概要

安全性とコスト効率を重視したアーカイブ向けストレージサービス

特徴

• データを取り出す際にコストと時間がかかる
• S3 Glacier
  • 耐久性は、99.999999999%(イレブンナイン)
  • 3種類の取り出しオプション
• S3 Glacier Deep Archive
  • 耐久性は、99.999999999%(イレブンナイン)
  • S3の最も低コストなストレージクラス
  • 1年で1、2回しかアクセスされないようなデータを対象
  • ７〜10年間保持されるデータの長期保存
  • 取り出し時間は12時間以内

AWS Backup

AWSサービス全体のバックアップを一元的に管理して自動化

Amazon Elastic Block Store (Amazon EBS)

概要

EC2インスタンスにアタッチして使用するブロックレベルのストレージサービス

特徴

• EC2ライフサイクルから独立した永続性を持つブロックストレージボリューム
• スナップショット機能によるS3へのバックアップが可能
• ディスク暗号化機能を提供
• 可用性 99.999%、SLAとしての可用性 99.99%
• EBS最適化ありによりEC2とEBS間の専用帯域を確保しI/O性能の安定化を向上できる
• EC2にアタッチ中もボリュームサイズやIOPSの変更が可能
• 未暗号化EBSボリュームは、スナップショットを作成し、そのコピー時に暗号化設定を指定できる

制限事項

• EC2からは、同じAZ内のEBSのみアタッチできる
• EC2に複数のEBSをアタッチできるが、EBSを複数のEC2にアタッチし共有することはできません

ボリュームタイプ

• 汎用SSD （gp2）
  • ボリュームサイズは、1GB～16TB
  • 最小100IOPSから最大16,000IOPS、1GiBあたり3IOPS増加する、5,334GiBで16,000IOPS
  • 1,000GiBまでは 3,000IOPSまでのバーストが利用可能(バーストバケットモデル)
  • スループットは、容量により異なる
  • 170GiBまでは、128Mib/2、170GiBから334GiBでは、最大250MiB/s、334GiB以上では、250MiB/s
• プロビジョンドSSD（io1）
  • ボリュームサイズは、4GB～16TB
  • 最小100IOPSからNitroベースインスタンスでは、最大64,000IOPS、他のインスタンスでは、最大 32,000IOPS
  • スループットは、32,000IOPSで 500MB/s、64,000IOPSで 1,000MB/s
• スループット最適化 HDD (st1)
  • ボリュームサイズは、500GB～16TB、1GB単位で指定可能
  • IOPSの最大は、500IOPS
  • スループットの最大は、500MiB/s、バーストはスループット
  • ブートボリュームとしては使用できない
• Cold HDD (sc1)
  • ボリュームサイズは、500GB～16TB、1GB単位で指定可能
  • IOPSの最大は、250IOPS
  • スループットの最大は、250MiB/s、バーストはスループット
  • ブートボリュームとしては使用できない

ユースケース（ボリュームタイプ別）

• 汎用SSD （gp2）
  • ほとんどのワークロードに推奨
  • システムブートボリューム
• プロビジョンドSSD（io1）
  • データベースワークロード
• スループット最適化 HDD (st1)
  • ビッグデータ
  • データウェアハウス
• Cold HDD (sc1)
  • アクセス頻度の低い大容量データ向け
  • ストレージコストを最低にすることが重視されるシナリオ

Amazon Elastic File System (Amazon EFS)

概要

EC2インスタンスで使用するファイルストレージの設定とスケーリングを簡単に行うことができる完全マネージド型のサービス

特徴

• 共有ストレージ
• ギガバイトからペタバイトまでを自動でスケールすることができる
• 数10~数1000のEC2インスタンスから同時にアクセスできる
• 使用したストレージにのみ料金がかかる

Amazon FSx for Lustre

概要

Amazon S3またはオンプレミスデータを処理するためのハイパフォーマンスファイルシステム

特徴

• 1秒につき数百ギガバイトのスループットと数百万IOPSの速度でデータを読み書きできるファイルシステムを起動して実行できる

Amazon FSx for Windows ファイルサーバー

概要

完全マネージド型のWindowsネイティブファイルシステム

特徴

AWS Storage Gateway

概要

オンプレミスから実質無制限のクラウドストレージへのアクセスを提供するハイブリッドクラウドストレージサービス

特徴

オンプレミス環境をAmazonクラウドストレージにシームレスにリンクする

ゲートウェイのタイプ

• ファイルゲートウェイ
  • オンプレミスアプリケーションが Amazon S3 内のオブジェクトをファイルとみなしてアクセスできるようにする
• テープゲートウェイ
  • 物理テープライブラリ装置の代替えとして専用ソフトでStorageGateway経由でS3にバックアップ
• 保管型ボリュームゲートウェイ(Gateway Stored Volumes)
  • オンプレミスのディスクデータをStorageGateway経由でスナップショットとしてS3に保存するデータのプライマリコピーはオンプレミスに存在
• キャッシュ型ボリュームゲートウェイ(Gateway Cached Volumes) 　　* オンプレミスのディスクデータをStorageGateway経由でスナップショットとしてS3に保存する
  データのプライマリコピーはS3に存在、よく使われるデータのみキャッシュがオンプレミスに存在

ユースケース

• テープバックアップ
• オンプレミスストレージの削減
• オンプレミスアプリケーション用に AWS 内のデータへのアクセスを低レイテンシーで提供する