Help us understand the problem. What is going on with this article?

AWS Lake Formationの概要を図と用語で整理する

AWS Lake Formationをざっくりと理解するために基本的な概念とコンポーネントを、図と用語で整理してみます。

AWS Lake Formationとは?

  • AWSでデータレイクを構築・運用するためのマネージドサービス
    • 実体は、ほぼAWSの各種サービスをラップしたもの(Glue, IAM, S3, etc..)
    • データレイク専用にアクセス制御を行うために、IAMとは別に独自の権限管理機構を持つ
  • 実データも保持しセキュリティ向上と権限管理が簡単に行えるAWS Glueという印象
    • IAMやGlueを個別に駆使してデータレイクを構築・運用するよりデータレイクに特化していて扱いやすい

ざっくりした概念図

図にするとかなりシンプル。
image.png

備考

用語

AWS Lake Formationにおける各用語の定義。

用語 意味
データレイク(Data Lake) Lake Formationのデータカタログの実体としてS3に保管されたデータ。構造化データ、非構造化データのどちらも格納する
データアクセス(Data Access) Lake Formation(以後LF)において、データへのアクセス権限を管理する。実体はIAM
ブループリント(Blueprint) データレイクにデータを簡単に格納するためのテンプレート。ブループリントからワークフローを作成できる。
ワークフロー(Workflow) 関連ジョブの入れ物。ブループリントから生成される。実体はAWS Glueのクローラーとトリガー。Glueの面倒なあれこれをラップしている
データカタログ(Data Catalog) メタデータストア。Apache Hiveのようにメタデータでデータを管理。実体はそのままGlueのデータカタログ。1AWSアカウント、1リージョンに1つだけ作成できる
Underlying Data データカタログテーブルが参照する元データ
プリンシパル(Principal) そのままIAMのプリンシパル
データレイク管理者(Data Lake Administrator) Lake Formation管理下にあるリソースの全権限を付与されたプリンシパル。LFを開始した際に最初に作られるユーザ。データレイク専用の管理者としてIAMの権限管理機能とは別に定義されており、IAMのAdministratorAccessを持っていても自動的にはデータレイク管理者にはならない(自分で自分を指定することは可能)。※詳細image.png

メモ

  • LFはGlueとデータカタログを共有する
  • Glueにできないことはできない
sot528
ALISファウンダー CTO. ブロックチェーンとかやってます.
https://alis.to/users/AB2
alis
ブロックチェーンベースのSNS「ALIS」の開発・運用を行うスタートアップ
https://alis.to
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした