はじめに

前回の記事で、DataZone の QuickStart を実行しました。前回は S3 にデータを格納して、Athena 経由でクエリーを行う内容を確認しました。DataZone は、Redshift とも連携機能があるので、この記事で Redshift との連携を確認してみます。

Redshift Provisioned を用意

Redshift の Provisioned cluster を用意します。

Redshift に接続します。

psql \
-h redshift-cluster-1.chigetqqkdgx.us-east-1.redshift.amazonaws.com \
-p 5439 \
-U awsuser \
-d tpch_3tb

次のように、 TPC-H の 8テーブルを準備しました。

tpch_3tb データベース
public スキーマ

tpch_3tb=# \dt
          List of relations
 schema |   name   | type  |  owner
--------+----------+-------+---------
 public | customer | table | awsuser
 public | lineitem | table | awsuser
 public | nation   | table | awsuser
 public | orders   | table | awsuser
 public | part     | table | awsuser
 public | partsupp | table | awsuser
 public | region   | table | awsuser
 public | supplier | table | awsuser
(8 rows)

DataZone のデータソースに Redshift を追加

DataZone に Redshift を連携させます。

Data source のタブで Create data source を選択します。

適当に名前を指定して、連携したい DataZone 上の Domain を指定します。

Redshift 上の Database tpch_3tb を指定します。

このあたりの IAM Role はよくわからないので、自動生成に任せます。

対象の Project を指定して、Create を押します。

一見、Data source には何も追加されていないように見えますが、Filter domain を選択します。

IT ドメインを指定します。

Redshift Cluster が登録されていることを確認しました。

IT Project 上で Redshift のデータを Publish

DataZone の IT Project 上で Publish Data を押して、Redshift のデータをデータカタログに公開します。

適当に Job の名前を入れます。

Data Source で Redshift が選択できるようになっています。redshift-cluster を選択します。

Redshift 上のスキーマを指定します。public スキーマを指定します。

Run once を選択して、Create を押します。

REQUESTED になりました。

一定時間後、SUCCESS に変わり、Redshift 上の 8 テーブルが追加されました。　

Glue DataCatalog 上にも自動的に Database が作成され、Table が追加されています

Draft として 8 テーブルが認識されています。

日本語のメタデータを入力するため、適当にテーブルを選択します。

Edit を押します。

テーブル名のわかりやすい名前をいれます。

スキーマ情報も自動認識されています。

日本語の説明を入れて、Active に変更します。

データカタログで検索

DataZone の検索ボックスで、「顧客」を検索します。

このカタログ上では、Redshift Cluster の名前や、テーブル名がわかります。

スキーマ情報もわかります。

(動作しなかった)サブスクライブ

この Redshift のデータをサブスクライブができます。

サブスクライブします。

管理者アカウントに申請がきています。

承認します。

Not granted となっていました。

Athena 上でも出てこない。

ちなみに、AWS Document 上では、Redshift でもクエリーができるようでした。この辺りは今後確認します。