Redshift Serverless に S3 からデータをロードしてみた

背景・目的

前回、CDKでResdshift Serverlessを作成しました。今回は作成したDDLに対してデータをロードしたときのメモになります。

実践

事前準備

1. データロード用のS3を作成します
2. データロード用のS3を読み込めるIAMロールを作成します
3. NameSpaceに上記のIAMロールを紐づけます

テストデータを用意

1. ローカルにCSVファイルを準備します
2. テーブル名ごとに、S3にCSVファイルをアップします
   

データロード

COPY コマンドで S3 から Redshift にデータをロードします。

1. 下記のコマンドでコピーします

COPY <スキーマ名>.<テーブル名>
FROM '<S3パス>'
IAM_ROLE default
CSV
IGNOREHEADER 1
TIMEFORMAT 'auto'
DATEFORMAT 'auto';

考察

• COPY コマンドは INSERT と比べて大量データのロードに適している（S3 から並列で読み込むため高速）
• IAM_ROLE default を使うことで、COPY コマンドに ARN を直接書く必要がなくなる
• テーブルごとに S3 のパスを分けておくと、ロードの管理がしやすい

参考