はじめに

DataZone（プレビュー）を少し触ってみたので、備忘録的に記事にします。
現在、AWSでデータレイクを構築している場合、既存のGlueデータカタログが存在していると思います。それをDataZoneの管理下に置くというユースケースを想定し、実施してみました。

こちらのドキュメントを参考に実施しました。

前提条件

2023年7月22日に、DataZone（プレビュー）を利用して検証しています。GA時にはUIや挙動が変わる可能性があります。
米国東部 (バージニア北部)リージョン（us-east-1）を利用します。
既にドメインやプロジェクトは作成しています。
既にクローラーを実行し、取り込むGlueデータカタログは作成しています。
今回は、全てAdminユーザーで実行します。

やってみる

既存のデータカタログを確認する

データベース test-dz-db が作成されています。

そのデータベースに、2つのテーブル test_1 test_2 が作成されています。

それぞれのテーブルにAthenaからクエリできます。

DataZoneでデータソースを作成する

DataZoneのコンソール画面から、自身のドメインをクリックします。

データソースタブをクリックします。

ドメインをフィルタリングをクリックします。

データを取り込みたい対象のサブドメインを選択し、ドメインを選択をクリックします。

データソースを作成をクリックします。

ここからは、データソースを作成の項目を埋めていきます。一部注意が必要なものだけ記載します。

AWS Glue データカタログのロールを読み取る：既存のロールはないので、新規に作成します。
アクセスロールを管理：こちらも同じく、新規に作成します。

プロジェクト：データソースを追加したいプロジェクトを選択します。このプロジェクト内で、このGlueデータカタログのデータがパブリッシュできるようになります。
データベース：今回用意した test-dz-db を選択します。

全て入力したら、データソースを作成をクリックします。

データソースが作成されています。

Lake Formationで権限設定する

パブリッシュする前に、先ほどデータソースを作成した際に新規作成したIAM Roleに、Lake Formationで権限を付与します。
具体的には、以下のドキュメントに記載された作業を実施していきます。

Lake FormationのData Lake locationsで、Register locationをクリックします。

Amazon S3 path：Glueデータカタログの元データが保存されているS3バケットを入力します。
それ以外は特にいじらず、Register locationをクリックします。

Data lake permissionsをクリックして、検索欄に IAMAllowedPrincipals を入力し、エンターを押します。

さらに検索欄に今回追加するデータベース test-dz-db を入力し、エンターを押します。

3つのPrincipalに対してRevokeを実施します。

IAMAllowedPrincipals のpermissionsが残っていると、Lake Formationでの権限管理ではなくIAMでの管理となってしまいます。DataZoneはLake Formationの権限管理を使うため、このpermissionsはRevokeします。

次は、先ほどデータソースを作成した時に新規作成した2つのロールに権限を付与します。
これをしないと、DataZoneが既存のGlueデータカタログを読み取れません。
Grantをクリックします。

1つ目のDataSourceのロールは、以下のようにデータベースとテーブルを選択し、Table permissionsはDescribeのみを許可します。その後、Grantをクリックします。

2つ目のPublisherManagedのロールは、以下のようにデータベースとテーブルを選択し、Table permissionsはSelectとDescribe、Grantable permissionsもSelectとDescribeを許可します。その後、Grantをクリックします。

以上で、権限設定は完了です。

DataZoneでパブリッシュする

ここからは、DataZoneのデータポータル上で操作します。

自身のProjectをクリックし、PUBLISH DATAをクリックします。

Publishデータに関する情報を入力していきます。

Publishing agreement：今回は、defaultを選択します。
Data source：今回作成したデータソースである test-data-catalog を選択します。

Database name：今回作成したデータソースの元のデータベース名を入力します。

Data Asset publishing：今回はActiveを選択します。Activeはパブリッシュの承認処理を挟まず、いきなりパブリッシュします。本番運用ではDraftを選択して、承認処理を挟んだ方が良いかと思います。
全て入力したら、CREATE PUBLISHING JOBをクリックします。

ジョブが実行されます。3分で成功となりました。

2つのテーブルが無事にパブリッシュされています。

DataZoneでサブスクライブする

パブリッシュされたうちの1つの test_1 をクリックして、詳細ページを開きます。
その後、SUBSCRIBEをクリックします。

Project：サブスクライブしたいプロジェクトを選択します。
その下にはサブスクライブの理由を入力しますが、今回はtestとします。
その後、SUBSCRIBEをクリックします。

少し経つと、右上のチェックマークにオレンジ色の●が表示されるのでクリックし、Subscription Requestをクリックします。

View requestをクリックします。

APPROVEをクリックします。
これで、サブスクライブが承認されたことになります。

左のメニューから、サブスクライブしたプロジェクトをクリックすると、test_1がサブスクライブされています！

クエリ発行する

先ほどサブスクライブしたプロジェクトの右側にあるQuery dataをクリックします。

Athenaの画面に飛ぶので、データベース名に _sub_db がつくデータベースを選択すると、今回サブスクライブしたテーブルがあるので、それにクエリを発行します。
見事に見えていますね。

注意点

①実運用の際の作業ユーザーについて

今回は、全ての作業をAdminユーザーで実行しました。
しかし、実運用の際はそれぞれのプロジェクトのユーザーやデータスチュワードが操作する場合があるのでご注意ください。

②Lake Formationで権限設定し忘れた場合について

その場合でも、パブリッシュ/サブスクライブまでは出来ちゃいます。
ただ、サブスクライブしたデータを見ると、以下のように Not granted と表示され、クエリできない状態になります。
これは、データソースを作成した際に新規作成したロールが、データカタログを見に行けなかったためです。忘れないようにしましょう。

おわりに

DataZoneは権限管理が楽になるサービスですが、AWS上に存在しているリソースをDataZoneの世界に乗せてあげる必要があります。今回はロールなどを新規に作成した、かつAdminで作業したので簡単にいきましたが、既存のロール、ユーザー、VPC･･･など使うと躓くところが増えそうです。早くGAして実際の環境で試してみたいですね！！