AWS Lake Formationとは
Lake Formationは、S3をベースとしたデータレイクを「よりセキュアかつ管理しやすく」するためのマネージドサービスです。
Glue、Athena、Redshift Spectrum、 EMRなどの分析基盤と連携し、一元的なセキュリティ制御やデータ取り込みの自動化を実現します。
主な機能
| 機能 | 説明 |
|---|---|
| データカタログ | Glueと共通のメタデータカタログを使用 |
| ブループリント | RDBやCloudTrailなどからのデータ取り込みテンプレート |
| データアクセス制御 | リソースベースとLFタグによるきめ細かなアクセス制御 |
| セキュリティ監査 | データアクセスログの統合管理 |
| クロスアカウント共有 | 他AWSアカウントへの安全なデータ共有が可能 |
1. LFタグベースのアクセス管理
- 複雑なIAMポリシーを作らずに、タグでアクセス制御を一元管理
- データガバナンスにおいて、動的かつスケーラブルな管理方式として評価されます
2. クロスアカウントデータ共有
Lake Formation + Resource Link により、S3バケットを直接共有せずにセキュアにテーブルレベル共有が可能
3. GlueとLake Formationの違い
- GlueはETL/カタログ/クローラー中心
- Lake Formationはセキュリティ・ガバナンス特化
4. ブループリント
ブループリントは、データレイクにデータを簡単に取り込めるようにするデータ管理テンプレートです。 Lake Formation には、リレーショナルデータベースや AWS CloudTrail ログなど、事前定義されたソースタイプごとに複数のブループリントが用意されています。
5. GCPとの比較：BigLake vs Lake Formation
| 観点 | AWS Lake Formation | GCP BigLake |
|---|---|---|
| データレイクベース | S3 | GCS |
| アクセス管理 | LFタグ、セルレベル制御 | IAM + Data Catalog（Tagで制御） |
| 連携サービス | Glue, Athena, Redshift, EMR | BigQuery, Dataproc, Dataflow |
| クロスプロダクト統合 | 他AWSサービスと密連携 | BigQuery統合が強力 |
| アクセス監査 | CloudTrail + Lake Formation | Cloud Audit Logs + Data Catalog |
| テーブルフォーマット対応 | Iceberg, Apache Hudi (Athena連携) | Apache Iceberg (BigLakeネイティブ) |