はじめに
試験勉強した際のメモを自分用に記事化。
内容は公式やBlack Beltの写経ですので目新しいことはありません
Redshift
Redshiftとは
リレーショナルデータベース型のデータウェアハウス。
並列処理ができるのでパフォーマンスが高い。
Redshiftの概要
Redshiftデータウェアハウスは、ノードと呼ばれるコンピューティングリソースの集合で、クラスターと呼ばれるグループに編成されている。
で、各クラスターはAmazon Redshiftエンジンを実行し、1つ以上のデータベースを含む。
Redshiftクラスターの費用対効果について
Redshiftはスナップショット用に無料ストレージを提供しているが、上限を超えると課金が発生する。
なので不要なスナップショットを消したりするサイクルが必要。
RedshiftのWLM(Work Load Management)
Redshiftのクエリ処理に対して、割り当てるRedshiftのリソースを指定する機能。
クエリ処理をキューとして実行順序を定義することが可能になる。
Redshiftの拡張VPCルーティング
Redshiftクラスター間のすべてのトラフィックがインターネットを通過しないようにするには、拡張VPCルーティングを使用する。
使用することでクラスターとデータリポジトリ間の全てのCOPY, UNLOADトラフィックがVPCを経由することを強制する。
これによりVPCの機能(SG, ACL, IGW, DNSサーバー)およびVPCフローログを使用することが可能になる。
類似の機能
・VPC間の接続に利用されるVPCピアリング。Redshift〜S3間のコネクションには使わない。
・NATGWはプライベトートサブネットのインスタンスにはインターネットから接続できないようにするいつものやつ。
・VPCエンドポイントはVPC外のサービスとの接続や連携ができるようになる。Redshift〜S3間のコネクションには使わない。
AWS StorageGateway
AWS StorageGateWayとは
オンプレミス環境のストレージをAWSに拡張するサービス。
・キャッシュ型ボリュームゲートウェイ
プライマリーはS3ストレージ。
頻繁にアクセスするデータはオンプレのキャッシュに保存することで低レイテンシーなアクセスが可能になる。
・保管型ボリュームゲートウェイ
プライマリーはオンプレミスストレージ。バックアップをS3に保存する。
Amazon FSx
Amazon FSxとは
Windows File Serverと互換性のあるストレージ。
SMBプロトコルを使ってる。主にWindowsシステムで使用する。
Windowsでストレージを共有するならFSxで、通常はEFS。
なのでWindows File ServerをAWSクラウド上で利用したい場合にFSxを利用する。
ちなみにSMBプロトコルはアプリケーションレベルのネットワークプロトコル。
それ以外の細い特徴は、
・AccessControlLists(ACLs)
・シャドウコピー
・ユーザークォータ
などのWindowsネイティブファイルシステムの機能をサポートしている。
あとActive Directoryの機能もサポートしているとのこと。
S3 Transfer Acceleration
長距離のデータ転送。
クライアントとS3バケットの間で長距離にわたるファイル転送を高速・安全・簡単に行う。
各リージョンからS3へのデータ転送が容易に実現できる。CloudFrontを使っている。
S3をトリガーにしてサービスを実行できるのは？
-
SNS
S3をトリガーとしてメールなどを通知できる -
SQS
S3をトリガーとしてStandardキューを配信できる -
Lambda
S3をトリガーとしてLambda関数を実行できる
Glacier
Glacier Deep Archive
Glacierよりも更に安くデータ保存が可能だが、データ取得は更に遅くなる中長期保存用ストレージタイプ。
標準取り出しで12時間以内、大量取り出しで48時間以内の取り出しが可能。
Glacierの管理方式的な
-
ボールトポリシー
ボールトで直接アクセスポリシーを制御する -
データ取り出しポリシー
データ取り出しに関する制限を定義 -
ボールトロックポリシー
ロックによって変更を禁止することにより、コンプライアンス管理を強力に実施することが可能
ちなみにボールトは、アーカイブを格納するコンテナのことを指す★
S3 Glacierの種類(要暗記)
-
S3 Glacier Retrieval
通常のGlacier。データの取り出し方法については以下の通り。
迅速：通常1分〜5分。保証することをプロビジョニングキャパシティと言う
標準：デフォルト設定。通常3〜5時間
大容量：一番安価。通常5〜12時間 -
S3 Glacier Instant Retrieval
ミリ秒単位で取り出せるタイプ -
Glacier Deep Archive
最安。7年〜10年単位でアクセスされないデータ向け
ElastiCache
ElactiCacheが得意なのは？
リアルタイムのランキング処理やゲームのアイテム出現など、行動データ記録に応じた処理が得意
おわりに
引き続き追記します！
以上です。