AWSのCloudFront/Snowball/StorageGateway/Macie

CloudFront

• CDNでcontentsをキャッシュする箇所。

  • ObjectはTTL(TimeToLive)の間キャッシュされる。
  • キャッシュをクリアすることもできるが、料金がかかる。(クリアには時間がかかるので、Objectを消すより前にキャッシュクリアする)
  • CloudFrontの前にFireWallを立てることもできる。

• Edge Location

  • READonlyではなく、WRITEもできる。

• Origin

  • オリジン。S3バケット、EC2インスタンス、ELB、Route53など

• Distribution

  • Web Distribution(Webサイトに使われる)
  • RTMP(MediaStremingに使われる、20年12月31日でサポート終了)

• SignedURLやSidgnedCookieを使えば、(ログインユーザにのみ表示などの)アクセス制限をかけることができる、らしい。

Snowball

• S3にデータ(ペタバイトスケール)をin/outする時に使う。
  • 異国のregionにinしたい時は該当regionにinしてからそれをCross-Region Data Transferする。
• AWS Snowball Edge はデータ移行とエッジコンピューティングのデバイスであり、2 つのオプションがあります。
  • Snowball Edge Storage Optimized は、ブロックストレージと Amazon S3 と互換性のあるオブジェクトストレージの両方、および 40 個の vCPU を提供します。
  • Snowball Edge Compute Optimized は、52 個の vCPU、ブロックストレージとオブジェクトストレージ、オプションの GPU を提供します。
• 使うべきタイミングは

exaByteのデータ転送にはSnowmobile

Storage Gateway

• オンプレミスから実質無制限のAmazonクラウドストレージサービスS3へのアクセスを提供するVM?アプライアンス?。
  • ソフトウェア?とハードウェア?の２種類ある。
• 頻繁にアクセスされるデータはオンプレミスでキャッシュして低レイテンシーのパフォーマンスを実現する。
• 変更があったデータのみを圧縮して送ることで、AWS へのデータ転送を最適化する。

File Gateway

• オンプレサーバーとのS3間のファイルベースのインターフェイスを提供する。
• S3 バケットを Network File System (NFS) マウントポイントとして、あるいは Server Message Block (SMB) ファイル共有として使用できるようになる。
• S3上に保存されたファイルはS3オブジェクトとしてVersioning, Lifecycle, Cross-RegionReplicationが可能になる。
• 直近に使用されたデータは、低レイテンシーのアクセスのため、ゲートウェイ上にキャッシュされます
• ファイルゲートウェイはオンプレミスまたは EC2 で実行できます。

Volume Gateway(iSCSI)

Stored Volume

• 全てのデータはオンプレに残っている
• HDDのインクリメンタルバックアップとして使われる。HDDの状態の増分バックアップが非同期にEBSスナップショット(1GB-16TB)がS3に保存される。

Cached Volume

• 頻繁にアクセスされるデータはオンプレのVolumeGatewayに(キャッシュとして)保存。
  • このキャッシュのVolumeは1GB-32TB
  • Buffer StorageはS3に保存される???
• 頻繁にアクセスされないデータはオンプレには保存せず、S3ないのVolume Gatewayに保存される
  • StorageVolumeのデータは32TiBまで。
  • このStorageVolumeはiSCSIデバイスとして、オンプレのアプリケーションサーバーからattach(アクセス?)できる。

Tape Gateway(VTL)

• オンプレで使っていたテープバックアップをAWSのS3にバーチャルテープカートリッジとして保存する
• AWS マネジメントコンソールを使用し、仮想テープライブラリ内に仮想テープを作成する
  

Athena

• S3 -> Athenaテーブルを作るには(1)AWS Glue (2)Athena コンソール、を使用する。

Macie

• 機械学習、NLP、パターンマッチングを使用して AWS の機密データ=PII(Personally Identifiable Information)を検出して保護する、フルマネージドのデータセキュリティとデータプライバシーのサービス
  • DashBoardレポートやアラートを出してくれる
  • S3内のデータやCloudTrailのログを検査
    • Maciiでも(Athenaと同じように)S3内のデータにクエリをかける。

その他のメモ

• 増分バックアップ(Incremential Backup)は完全バックアップしてから毎回の変化分を変化分を保存。差分バックアップ(Differential Backup)は、完全バックアップした状態との変化分を保存。
  • (例)1(完全バックアップ),2,3,4,5なら、増分は[+1, +1, +1, +1]で、差分は[+1, +2, +3, +4]。