はじめに

re:Invent 2022での発表の一つに、S3に置いたファイルをRedshiftに自動的にCOPYコマンドで取り込んでくれる機能がプレビューで開始、というのがありましたので早速試してみました。

概要

プレビューの段階ですので、本運用に使うのは避けてください。
- 2023/2/28に終了する予定とのこと
今までのcopyコマンドの末尾に、以下を入れるだけ。

JOB CREATE my-copy-job-name
AUTO ON

過去に取り込まれたファイルパスは、再取り込みされない。
- 新しく上げなおしても、取込対象外
取込の結果はSTL_LOAD_COMMITSで確認できる。

参考

作成の仕方は以下より。

コマンドの書き方は以下にあります。

やってみた

COPY用IAMロール作成

使用するロールを作成します。

AWSTemplateFormatVersion: "2010-09-09"

Resources:
  RSRole:
    Type: AWS::IAM::Role
    Properties:
      RoleName: for-rspreview
      Path: "/"
      AssumeRolePolicyDocument:
        Version: 2012-10-17
        Statement:
          - Effect: Allow
            Principal:
              Service:
                - "redshift.amazonaws.com"
            Action:
              - sts:AssumeRole
      ManagedPolicyArns:
        - arn:aws:iam::aws:policy/AmazonRedshiftFullAccess
        - arn:aws:iam::aws:policy/AmazonS3FullAccess

Redshift(preview)作成

左ペインの”プロビジョニングされたクラスターダッシュボード”をクリックします。

上にバナーがでてくるので、右端のボタンをクリックします。

Preview trackに以下を選択。

最安価インスタンスで作成しました。

作成したIAMロールを関連付けます。

あとはデフォルトで作成します。作成されるまでしばらくかかりました。

クエリエディタで、以下のSQLを実行してテーブルを作成します。

CREATE TABLE "public"."climbing" (
  episode INTEGER
  , name VARCHAR(100) 
  , elevation INTEGER 
);

この時点で、コピーJOBの一覧コマンドも実行できました。まだ作成前なので空が返ってきます。

JOB作成

以下のコマンドを、クエリエディタで実行します。

COPY public.climbing
FROM 's3://[バケット名]/yama-no-susume' CSv
IAM_ROLE 'arn:aws:iam::123456789012:role/for-rspreview'
IGNOREHEADER 1
JOB CREATE addclimbinglogjob
AUTO ON