1. sot528

    Posted

    sot528
Changes in title
+AWS Lake Formationの概要を図と用語で整理する
Changes in tags
Changes in body
Source | HTML | Preview
@@ -0,0 +1,37 @@
+[AWS Lake Formation](https://aws.amazon.com/jp/lake-formation/)をざっくりと理解するために基本的な概念とコンポーネントを、図と用語で整理してみます。
+
+
+# AWS Lake Formationとは?
+- **AWSでデータレイクを構築・運用するためのマネージドサービス**
+ - 実体は、ほぼAWSの各種サービスをラップしたもの(Glue, IAM, S3, etc..)
+ - データレイク専用にアクセス制御を行うために、IAMとは別に独自の権限管理機構を持つ
+- **実データも保持しセキュリティ向上と権限管理が簡単に行えるAWS Glue**という印象
+ - IAMやGlueを個別に駆使してデータレイクを構築・運用するよりデータレイクに特化していて扱いやすい
+
+# ざっくりした概念図
+図にするとかなりシンプル。
+![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50056/3f3012ba-2336-0e40-9d8a-914078442b57.png)
+
+
+## 備考
+- [公式ドキュメント](https://docs.aws.amazon.com/lake-formation/latest/dg/what-is-lake-formation.html) (2020/02/04時点では英語のみ)
+- [公式マンガ](https://aws.amazon.com/jp/campaigns/manga/vol9-1/)があるよ
+- Lake Fromationの根っこにはAWS Glueがあるため[AWS Glueの概要を図と用語で整理する](https://qiita.com/sot528/items/1c56bb95ac3060772634)と一緒に見るとわかりやすいかもしれません
+
+# 用語
+AWS Lake Formationにおける各用語の定義。
+
+|用語|意味|
+|---|---|
+|データレイク(Data Lake)|Lake Formationの**データカタログ**の実体としてS3に保管されたデータ。構造化データ、非構造化データのどちらも格納する|
+|データアクセス(Data Access)|Lake Formation(以後LF)において、データへのアクセス権限を管理する。実体はIAM|
+|ブループリント(Blueprint)|データレイクにデータを簡単に格納するためのテンプレート。ブループリントから**ワークフロー**を作成できる。|
+|ワークフロー(Workflow)|関連ジョブの入れ物。**ブループリント**から生成される。実体はAWS Glueのクローラーとトリガー。Glueの面倒なあれこれをラップしている|
+|データカタログ(Data Catalog)|**メタデータストア。**Apache Hiveのようにメタデータでデータを管理。実体はそのままGlueのデータカタログ。1AWSアカウント、1リージョンに1つだけ作成できる|
+|Underlying Data|**データカタログ**の**テーブル**が参照する元データ|
+|プリンシパル(Principal)|そのままIAMのプリンシパル|
+|データレイク管理者(Data Lake Administrator)|Lake Formation管理下にあるリソースの全権限を付与されたプリンシパル。LFを開始した際に最初に作られるユーザ。データレイク専用の管理者としてIAMの権限管理機能とは別に定義されており、IAMの`AdministratorAccess`を持っていても自動的にはデータレイク管理者にはならない(自分で自分を指定することは可能)。[※詳細](https://docs.aws.amazon.com/lake-formation/latest/dg/access-control-overview.html)![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50056/2ab4f94d-f51d-d703-c563-441268952b62.png)|
+
+# メモ
+- LFはGlueとデータカタログを共有する
+- Glueにできないことはできない