業務でS3を扱っているが、もう少し詳しく知りたい。
とりあえず公式を読む
「Amazon Simple Storage Service (Amazon S3) は、業界をリードするスケーラビリティ、データ可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。つまり、あらゆる規模や業界のお客様が、ウェブサイト、モバイルアプリケーション、バックアップおよび復元、アーカイブ、エンタープライズアプリケーション、IoT デバイス、ビッグデータ分析など、広範にわたるユースケースのデータを容量に関係なく、保存して保護することができます。Amazon S3 では使いやすい管理機能を使用するため、データを整理して、細かく調整されたアクセス制御を設定することで、特定のビジネスや組織、コンプライアンスの要件を満たすことができます。Amazon S3 は 99.999999999% (9 x 11) の耐久性を実現するように設計されており、世界中の企業向けに何百万ものアプリケーションのデータを保存しています。」公式
要は、
AWSのストレージサービス！
高い拡張性！
大規模なアプリケーションのデータを扱える！
99.99999999999(9*11)の高い可用性！
「ストレージリソースをスケールアップ/ダウンして、変動する需要に対応します。先行投資やリソースの調達サイクルは不要です。Amazon S3 は、複数のシステムにまたがる S3 オブジェクトをすべて自動的に作成して保存しており、99.999999999% (9 x 11) のデータ耐久性を実現するように設計されています。つまり、必要に応じてデータを利用することができるため、障害やエラー、脅威から保護することができます。」公式
要は、
S3のおかげで先にリソースを確保しておく、という必要がなくなる！
高い可用性！
複数のシステムでオブジェクトを保存するので、障害耐久性も高い！
「パフォーマンスを下げずにコストを節約するには、対応するレートでさまざまなデータアクセスレベルをサポートする S3 ストレージクラスにデータを保存します。S3 ストレージクラス分析を使用して、アクセスパターンに基づき、低コストのストレージクラスに移動する必要のあるデータを検出し、S3 ライフサイクルポリシーを設定して転送を実行できます。S3 Intelligent-Tiering では、アクセスパターンが変化するデータか、パターンが不明なデータを格納することもできます。これにより、オブジェクトはアクセスパターンの変化に応じて階層化されるため、コストは自動的に抑えられます。」
要は
あまりアクセスしないデータに関してはライフサイクルポリシーを設定してコストの低いストレージに移動することができる！
S3 Intelligent-Tieringはアクセスパターンが一定でないようなデータを格納することができる！
アクセスパターンに応じて、ストレージのタイプを変えることにより、コストの最適化を図ることができる！
ちなみにS3ってどんな種類があるのだ？？
「Amazon S3 では、各ユースケース向けに幅広いストレージクラスが提供されています。クラスの種類は、S3 標準 (高頻度アクセスの汎用ストレージ用)、S3 Intelligent-Tiering (未知のアクセスパターンのデータ、またはアクセスパターンが変化するデータ用)、S3 標準 – 低頻度アクセス (S3 標準 - IA)、S3 1 ゾーン - 低頻度アクセス (S3 1 ゾーン - IA) (長期間使用するが低頻度アクセスのデータ)、Amazon S3 Glacier (S3 Glacier)、Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive) (長期アーカイブおよびデジタル保存) があります。Amazon S3 には、ライフサイクルを通じてデータを管理する機能が搭載されています。S3 ライフサイクルポリシーを設定すると、データは別のストレージクラスに自動的に移行されます。アプリケーションに変更を加える必要はありません。 」
S3標準 – 高頻度アクセス用
S3 Intelligent-Tiering – アクセスパターンが一定でないもの用
S3 標準 – 低頻度アクセス - 長期間使用するがアクセスが少ないもの用
S3 1ゾーン - 長期間使用するがアクセスが少ないもの用
S3 Glacier – 長期アーカイブとデジタル保存用
S3 Glacier Deep Archive - 長期アーカイブとデジタル保存用
がある。
これらを使用するデータによって使い分けることで、パフォーマンス、コストの最適化が図れる！
「データを Amazon S3 に保存し、暗号化機能とアクセス管理ツールを使用して不正なアクセスからデータを保護します。S3 は S3 Block Public Access を使用して、バケットレベルまたはアカウントレベルで、すべてのオブジェクトへのパブリックアクセスをブロックできる唯一のオブジェクトストレージサービスです。S3 は PCI-DSS、HIPAA/HITECH、FedRAMP、EU データ保護指令、および FISMA などのコンプライアンスプログラムを維持し、規制要件を満たしています。AWS では、S3 リソースへのアクセスリクエストをモニタリングするための監査機能も多数サポートしています。」
要は
A3では暗号化やアクセス管理ツールでデータを不正アクセスから保護できる！
S3 Block Public Accessですべてのオブジェクトへのパブリックアクセスをブロックすることができる！
セキュリティは様々な規制要件を満たしている！
オブジェクトへのアクセスを監視する機能もある！
「S3 の堅牢な機能で、アクセス、コスト、レプリケーション、データ保護を管理できます。S3 Access Points では、共有データセットを使用するアプリケーションに個別のアクセス許可を付与できるため、データアクセスの管理が容易になります。S3 レプリケーション機能を利用すると、リージョン内やリージョン間のデータレプリケーションを管理できます。S3 バッチオペレーションでは、数十億にのぼるオブジェクトにわたる大規模な変更の管理が支援されます。S3 は AWS Lambda と連携しているため、追加のインフラストラクチャを管理することなく、アクティビティのログ記録、アラートの定義、ワークフローの自動化を行うことができます。」
要は
S3 Access Pointsで、アプリケーションの特定のデータへのアクセス権限を管理することができる。
レプリケーション機能でデータのレプリケーションもリージョンを選んで作成できる。
バッチオペレーションで、大規模なバッチ処理もできる。
あとはLambdaと連携しているので、Lambdaでそのまま使える。
「すぐに活用できるクエリ (query-in-place) サービスを使用して、S3 オブジェクト (および AWS の他のデータセット) 全体で大きなデータ分析を実行します。Amazon Athena を使用して標準の SQL 式で S3 データを照会し、Amazon Redshift Spectrum を使用して AWS データウェアハウスおよび S3 リソースに格納されているデータを分析します。また、S3 Select を使用して、オブジェクト全体ではなくオブジェクトデータのサブセットを取得し、クエリのパフォーマンスを最大 400% 向上させることもできます。」公式
要は
クエリサービス（query-in-place）でデータ検索ができる。
Amazon AthenaとはS3のデータの分析ツール。
S3 Selectでデータをサブセット化してパフォーマンスを向上させる。
「Amazon S3 のデータを保存し、保護するには、AWS Partner Network (APN) のパートナー (テクノロジーとコンサルティングのクラウドサービスプロバイダーの最大のコミュニティ) と提携します。APN は、Amazon S3 にデータを転送する移行パートナーと、プライマリストレージ、バックアップ、復元、アーカイブ、災害復旧用に S3 統合ソリューションを提供するストレージパートナーを認識します。また、AWS Marketplace から AWS 統合ソリューションを直接購入することもできます。ここでは、ストレージに関する 250 以上のサービスが表示されています。」公式
パートナーと提携していることでいろんな構築のソリューションが提供されている。
統合ソリューションも購入できる。
いろんなサービスが提供されている。
S3はAWSのストレージサービスで、いろんなソリューションが提供されているのか…
まぁ知識マスターしてれば自分でストレージの最適化も図れるし、あんま良く分かってなくてもソリューション単位でいろんなサービスが受けれるのか…
読み進める。
「 Amazon S3 Access Points により、S3 上の共有データセットを使用するアプリケーションの大規模なデータアクセスを簡単に管理できるようになります。S3 Access Points は、バケットあたり数百にのぼるアクセスポイントを簡単に作成できるため、共有データセットへのアクセスをプロビジョンする新たな手段となります。Access Points では、一意のホスト名とアクセスポリシーによって、アクセスポイント経由のあらゆるリクエストに対して固有のアクセス許可とネットワーク制御が適用されます。これにより、バケットへのカスタマイズされたパスを利用できます。」公式
要は
Access Point使えばバケットごとにアクセスポイントを設定できる。
アクセス権限を設定したパスも作れる。
「Amazon S3 などの AWS のサービス (例: S3 Glacier、Amazon EFS、Amazon EBS) を使用して、スケーラブルで、耐久性、安全性に優れたバックアップと復元のソリューションを構築して、既存のオンプレミス機能を強化するか、リプレースすることができます。AWS と APN のパートナーは、目標復旧時間 (RTO)、目標復旧時点 (RPO)、およびコンプライアンス要件を満たすのに役立ちます。AWS では、AWS クラウドにある既存のデータをバックアップするか、AWS Storage Gateway (ハイブリッドなストレージサービス) を使用して、オンプレミスデータのバックアップを AWS に送信することができます。」公式
要は
S3は既存のオンプレ環境に適応してパワーアップも図れるし、
オンプレ環境をS3で全部管理するようにもできる。
APNパートナーはRTOやRPOやコンプライアンス要件を満たせる。
オンプレのデータのバックアップをS3に移動するには、AWS Storage Gatewayを使う。
ん？もしかしたらAPNパートナーを完全に理解していないかもしれない…
APNパートナーの説明を読む
「AWS パートナーネットワーク (APN) は、アマゾン ウェブ サービスを活用して顧客向けのソリューションとサービスを構築しているテクノロジーおよびコンサルティング企業向けのグローバルパートナープログラムです。APN は、価値のあるビジネス、技術、マーケティングのサポートを提供することで、企業が AWS サービスを構築、マーケティング、販売するのを支援します。
世界中に数万にも及ぶ APN パートナーがいます。フォーチュン 100 企業のうち 90％ 以上、そしてフォーチュン 500 企業の大多数が、APN パートナーソリューションとそのサービスを利用しています。」公式
要は
AWS使ってソリューション提供する企業のこと。なるほど。
S3の説明に戻る。
「AWS クラウド、またはオンプレミス環境で実行されている重要なデータ、アプリケーション、および IT システムを保護します。予備の物理データセンターにコストをかける必要はありません。Amazon S3 ストレージや S3 クロスリージョンレプリケーション に加え、AWS のコンピューティング、ネットワーキング、データベースサービスでは、DR アーキテクチャを作成して、自然災害やシステム障害、人為的ミスによって発生する機能停止から簡単にすばやく復旧することができます。」公式
要は
S3にデータ入れておけば災害などに対する耐久を高められる。
DRアーキテクチャ？を作成して災害が起きた時に迅速に復旧させることが可能になる。
DRアーキテクチャ？
「災害対策(Disaster Recovery:DR)の目的は、災害時にもサービスを継続して提供するためのITシステムおよびデータの保護です。」NEC
https://jpn.nec.com/techrep/journal/g06/n04/pdf/t060407.pdf
要は、ディザスタリカバリアーキテクチャ。バックアップを保存しておく設計とか。これをしておくことで、災害発生時にすぐに復旧することができる。詳細は割愛。
S3に戻る。
「アーカイブ - 物理インフラストラクチャを廃止し、S3 Glacier と S3 Glacier Deep Archive でデータをアーカイブします。これらの S3 ストレージクラスでは、オブジェクトを長期間、低コストで保持することができます。ライフサイクル全体にわたってオブジェクトをアーカイブする S3 ライフサイクルポリシーを作成するか、オブジェクトをアーカイブのストレージクラスに直接アップロードします。S3 オブジェクトのロックでは、オブジェクトに保持日を適用してオブジェクトを削除から保護し、コンプライアンス要件を満たすことができます。テープライブラリとは異なり、S3 Glacier では、迅速取り出しの場合は 1 分、標準取り出しの場合は 3〜5 時間でアーカイブオブジェクトを復元できます。S3 Glacier からの一括データ復元と S3 Glacier Deep Archive を使用した復元はすべて 12 時間以内に完了します。」公式
要は
GlacierとGlacier Deep Archiveは主にアーカイブ用。
Glacier群は長期ストレージ用で、コストは低い。
保存方法はライフサイクル設定かそのままアップロード。
オブジェクトのロックをすることで、自動的に削除されるのを防ぐことができる。
ただデータの取り出しには時間がかかる。1分～5時間。
一括データ復元は最大で12時間かかることもある。
つづく