More than 1 year has passed since last update.

日本オラクル株式会社

Autonomous Database：S3バケットにファイルがアップロードされたら自動的に表にロードするライブ表フィードを設定してみた

Last updated at 2024-10-09Posted at 2024-07-24

はじめに

特定のS3バケットに新規にファイルがアップロードされたら、自動的にAutonomous Database内の表にデータをロードする方法がマニュアルに記載されたので、検証してみました。

仕組みとしては、S3バケットのイベント通知をAmazon SNS経由でAutonomos Databaseが受信し、データのロード（ライブ表フィード）を行うというものです。

1. S3バケットの作成とファイルのアップロード

今回は、my-bucket-forlivefeedというS3バケットを作成し、その中にempdataというフォルダを用意しました。

初期データとして、empdataフォルダにこちらのempdata1.txtをアプロードします。

empdata1.txt

1,SMITH
2,ALLEN
3,WARD

2. Amazon S3に対するクラウド・ストレージ・リンク（クラウドストアの場所）の作成

Amazon S3に対するクラウド・ストレージ・リンク（クラウドストアの場所）作成を作成します。

Autonomous DatatabaseのDatabase Actionのデータ・ロードにアクセスします。

「接続」をクリックします。

「作成」をクリックし、「新規クラウド・ストアの場所」を選択します。

ここでは、クラウド・ストアの名前を「S3_empdata」とし、資格証明としてあらかじめ作成したARNベースのクレデンシャル「AWS_S3_CRED」を指定しました。

ARNベースのクレデンシャルの作成については、こちらの記事を参照ください。

また、バケットURIとして、1.で作成したフォルダのURIを指定しました。
入力が完了したら、「次」をクリックします。

使用可能なオブジェクトとして、先ほどアップロードしたempdata1.txtが確認できたら、「作成」をクリックします。

クラウド・ストアの場所「S3_empdata」が作成できました。

3. ライブ表フィードの作成

Database Actionsのデータ・ロードからライブ表フィードを作成します。
「データ・ロード」をクリックします。

「データのフィード」をクリックします。

「ライブフィード表の作成」をクリックします。

クラウド・ストアの場所として、2.で作成した「S3_empdata」を選択し、「次」をクリックします。

表の設定画面が表示されます。

今回はターゲット表名を「EMPDATA」に変更し、empdata1.txtのデータに合わせて、プロパティ・セクションの「列ヘッダー行」のチェックをオフにしました。

マッピング・セクションでは、ターゲット列名をそれぞれempno、empnameに変更しました。
変更が完了したら、「次」をクリックします。

プレビューが表示されるので、内容に問題がなければ「次」をクリックします。

ライブ・フィードの設定画面が表示されます。

「通知に対して有効」のチェックをオンにし、「スケジュール済」のチェックをオフにします。

データをロードする際に使用するコンシューマ・グループを指定し、「作成」をクリックします。

「今すぐライブ表フィードを実行」というダイアログが表示されるので、「はい」をクリックします。

少し待つと、S3_EMPDATA_FEEDにデータがロードされた旨が表示されます。
この時点で、S3バケット内にあるempdata1.txtがロードされます。

S3_EMPDATA_FEEDの右上にある3つの点の部分をクリックし、「通知URLの表示」をクリックします。

S3_EMPDATA_FEEDの通知URLが表示されるので、この後の手順のために通知URLをコピーしてメモしておきます。

4. Amazon SNSのトピックの作成

AWSコンソールからAmazon SNS（Simple Notification Service）にアクセスし、「トピックの作成」をクリックします。

タイプは「スタンダード」を選択し、任意の名前を指定します。
今回は「s3_empdata_feed」としました。

暗号化オプションが「オフ」になっていることを確認します。

必要に応じてアクセスポリシーを指定します。

今回はこちらのようなポリシーを設定しました。

{
  "Version": "2008-10-17",
  "Id": "__default_policy_ID",
  "Statement": [
    {
      "Sid": "__default_statement_ID",
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": [
        "SNS:Publish",
        "SNS:RemovePermission",
        "SNS:SetTopicAttributes",
        "SNS:DeleteTopic",
        "SNS:ListSubscriptionsByTopic",
        "SNS:GetTopicAttributes",
        "SNS:AddPermission",
        "SNS:Subscribe"
      ],
      "Resource": "arn:aws:sns:ap-northeast-1:<アカウントID>:s3_empdata_feed",
      "Condition": {
        "StringEquals": {
          "AWS:SourceOwner": "<アカウントID>"
        }
      }
    },
    {
      "Sid": "s3_policy",
      "Effect": "Allow",
      "Principal": {
        "Service": "s3.amazonaws.com"
      },
      "Action": "SNS:Publish",
      "Resource": "arn:aws:sns:ap-northeast-1:<アカウントID>:s3_empdata_feed",
      "Condition": {
        "StringEquals": {
          "aws:SourceAccount": "<アカウントID>"
        },
        "ArnLike": {
          "aws:SourceArn": "arn:aws:s3:::my-bucket-for-livefeed"
        }
      }
    }
  ]
}

「トピックの作成」をクリックして、トピックを作成します。