はじめに

2024年9月のアップデートで、Amazon RDS for MySQL と Amazon RedshiftのゼロETL統合が一般提供されるようになりました。また、以前まではゼロETL統合によってレプリケートされたテーブルでは設定されたソートキーを変更できませんでしたが、今回のアップデートによりソートキーの変更が可能となりました。その他、RDS MySQLにおいて、以前は対象テーブルの絞り込みができませんでしたが、今回のアップデートでは絞り込みが可能となりました。本記事では、これらの機能の検証結果について紹介させていただきます。

ゼロETL統合とは

ゼロETL統合は、DB同士を直接接続し、データをレプリケートするアーキテクチャです。従来のETLプロセスで必要となるデータパイプラインの構築を省略し、円滑にDB間のデータ移動を行うことが出来ます。
現在、RedshiftのゼロETL統合に対応しているDBは、RDS for MySQL、Aurora MySQL、Aurora PostgreSQLの3種類です。

検証項目

ゼロETL統合の作成
ソートキーの変更
テーブルのフィルタリング

メリット

1. ゼロETL統合の作成

・リアルタイムのデータアクセスを提供する
・ETLパイプライン構築のコストをカットできる

2. ソートキーの変更

・ダウンタイム無しでのソートキー変更が可能となる
・「AUTO」に設定することで、データに基づいて自動的にソートキーを最適化される

3. テーブルのフィルタリング

・レプリケートするテーブルを選択することが出来る

前提条件

以下の記事の手順に従い、ETL統合作成の事前準備が必要となります。

検証結果

1. ゼロETL統合の作成

1.AWSのホーム画面で「RDS」を選択
※検索欄で「Amazon RDS」を検索でも可

2.「ゼロのETL統合」を選択

3.「ゼロETL統合を作成する」を押下

4.「統合識別子」を入力し、「次へ」を押下

5.「RDSデータベースの参照」を押下

6.「ソースデータベース」を選択し、「選択」を押下

7.「次へ」を押下

※データフィルタリングオプションのカスタマイズが可能
フィルタータイプとフィルター式を入力することで、レプリケートするテーブルをフィルタリングすることが出来る

例.RDSに以下のテーブルが存在すると仮定

DB	テーブル名
kensyoB	books_table
kensyoB	books_table_recode_l
kensyoB	books_table_recode_s
kensyoB	books_table_recode_001
kensyoB2	books_table

設定対象	フィルタータイプ・フィルター式	フィルター例
テーブル	【含む】 *.books_table	kensyoB.books_table kensyoB2.books_table
テーブル	【含む】 ./._recode.*/	kensyoB.books_table_recode_l kensyoB.books_table_recode_s
テーブル	【含む】 ./books_table_./ 【除外】 ./._recode.*/	kensyoB.books_table_recode_001
DB	【含む】 kensyoB.*	kensyoB.books_table kensyoB.books_table_recode_l kensyoB.books_table_recode_s kensyoB.books_table_recode_001

8.「Redshiftデータウェアハウスの閲覧」を押下

9.ターゲットデータウェアハウスを選び「選択」を押下

※選択するクラスターのステータスは「ACTIVE」の必要あり

10.「次へ」を押下

11.「ゼロETL統合を作成する」を押下

12.RDSにレプリケート用のテーブルが存在することを確認

13.Amazon Redshiftの画面にて、「クエリエディタv2」を押下

14.以下のSQLを実行し、統合IDを取得

SELECT integration_id FROM SVV_INTEGRATION;

15.以下のSQLを実行し、データベースを作成

CREATE DATABASE [データベース名] FROM INTEGRATION [統合ID];

16.作成したデータベース内に、RDSのテーブルが存在することを確認

※Redshiftのテーブルに対して、INSERTやDELETEなどのテーブル操作を行った場合、エラーが発生する。

2. ソートキーの変更

1.検証用テーブルにおいて、ソートキーが設定されていることを確認

2.以下のSQLを実行し、ソートキーを変更

ALTER TABLE [DB名].[テーブル名] ALTER SORTKEY ([ソートキー名]);

3.ソートキーが変更されたことを確認

3. テーブルのフィルタリング

1.RDSに以下の検証用テーブルが存在することを確認

DB	テーブル名
kensyoB	books_table_recode_l
kensyoB	books_table
kensyoB	books_table_A00
kensyoB	books_table_fujita1216_2
kensyoB	books_table_recode_s
kensyoB2	books_table_A00
kensyoB2	books_table_A01

2.ゼロETL統合に以下のフィルター式を設定

設定対象	フィルタータイプ・フィルター式
テーブル	【含む】 ./._recode.*/

3.Redshiftにて、テーブルがフィルタリングされていることを確認

終わりに

今回検証したゼロETL統合は、RDSに保存したデータをRedshiftで高速に分析したい場合や、RDSのデータとRedshiftのデータを組み合わせて分析した場合などに利用できるサービスだと思います。
初めてゼロETL統合を使用した所感として、かなりシンプルな操作での作成が可能だと思いました。ETLパイプライン作成の時間・金銭のコストがかからないことは魅力的なので、単純なデータ移行の際には使いやすいサービスであると感じました。

参考文献