Autonomous DatabaseのData Transformsを用いて、異なるスキーマ間でデータの複製をしてみた。

はじめに

Data Transformsは、Autonomous Databaseに組み込まれているデータ統合ツールです。Database Actionsからアクセス可能で、様々なソースからAutonomous Databaseにデータをロードして変換するためのツールとして知られています。

本記事の前提条件

• ADBインスタンスが構成済みであること
• 下記リンクからMovie Sales 2020.csv(売上実績のサンプルデータ)をダウンロードしてあること。
  
  「OCIチュートリアル, Oracle Database編, 217: クレデンシャル・ウォレットを利用して接続してみよう」
• 「 OCIチュートリアル, Oracle Database編, 403 : Data Transformsを使ってみよう」を事前に行い、Movie Sales 2020.csvをData Transformsを用いて加工した、MOVIE_SALES_2020Q2という表を使用します。

作業の大まかな流れ

～前提条件まで～

• QTEAMというユーザーを作成し、Movie Sales 2020.csvをロードします。
• Data Transformsを開き、MovieStreamという名前でConnectionを作成し、Autonomous Databaseに接続します。
• QTEAMスキーマにロードしてあるデータ(Movie Sales 2020.csv)をインポートします。
• データの変換作業(データの修正、トリミング)を行います。
  詳細は、OCIチュートリアル, Oracle Database編, 403 : Data Transformsを使ってみようをご覧ください。
  ～本記事～

• データを複製する先のスキーマ(QTEAM_TARGET)を作成します。
• Data Transforms上で、データ複製のためのReplicate_MoviestreamというProjectを作成します。
• 前提条件で作成したMovieStreamに加え、MovieStream_TargetというConnectionを作成します。
• Load Dataの機能を使い、データ複製のソースとなるQTEAMから、QTEAM_TARGETにデータを読み込ませます。
• 実際にデータが複製されたかを確認します。

実際にデータの複製をしてみた

QTEAM_TARGETスキーマの作成

1. ADBのコンソール画面からDatabase Actionsを起動し、データベース・ユーザーをクリックします。
   

2. ユーザーの作成をクリックします。
   

3. 次のようにユーザー情報を入力します。

   入力項目	入力内容
   ユーザー	QTEAM_TARGET
   パスワード	任意
   パスワードの確認	任意
   Webアクセス	ON
   Webアクセス拡張機能→承認が必要	ON
   表領域の割当制限DATA	UNLIMITED

   

   • ユーザーを作成ボタンを押す前に、付与されたロールの項目から以下の2つのユーザーロールについて、［付与済］と［デフォルト］の両方にチェックしてください。(後からでも編集できます。)
     ・DWROLE
     ・DATA_TRANSFORMS_USER
     

   

4. Database Actionsの起動パッドに戻り、ADMINユーザーからいったんログアウトして、前提条件で作成してあるQTEAMユーザーでログインし直します。

Replicate_MoviestreamのProjectを作成

1. Data Transformsを起動します。
   QTEAMユーザーでDatabase Actionsにログインした状態で、起動パッドを開きます。データ変換の項目をクリックし、QTEAMユーザーの情報を入力すると、Data Transformsが起動します。
2. Home画面からProjectsに移動し、Create Projectを押し、Replicate_Moviestreamという名前でProjectを作成します。
   

MovieStream_TargetのConnectionを作成

前提条件でMovieStreamというConnectionを作成済みですが、データ複製のターゲット用としてMovieStream_Targetを新たに作成します。

1. Create Connectionsを押して、下記画像のようにConnectionの作成を行います。

   • Name: MovieStream_Target
   • Use Credential File: ON
   • Services: 〇〇_low
   • User: QTEAM_TARGET
   • Password: 設定したパスワード

   Test Connectionを押し、接続テストに成功したら、作成ボタンを押します。

   

QTEAMから、QTEAM_TARGETにデータを読み込む

1. Home画面に戻り、Load Dataを押します。すると以下の画像のように、Load Dataの情報を入力する画面が立ち上がってきます。

   • Name: MovieStream_dataLoad　(例)
   • Project Name: Replicate_Moviestream　を選択
     Nextを押します。
     

2. Source Connectionを入力する画面に移ります。データ複製のためのソースとなるConnectionであるMovieStreamを選択します。スキーマはQTEAMにします。
   

   1. 続いてTarget Connectionを入力する画面に移ります。データの複製先のターゲットとなるConnectionであるMovieStream_Targetを選択します。スキーマはQTEAM_TARGETにします。
      

3. Home画面からProjectsを押し、先ほど作成したReplicate_MovoeStreamのProjectを選択します。
   

4. 画面左側のData Loadsを選択し、MovieStream_dataLoadが表示されているはずなので、このリンクを押します。
   

5. • MovieStream_dataLoadの詳細画面が表示されます。ソーススキーマのすべての表を見ることができ、該当の表(MOVIE_SALES_2020Q2)を選択します。
   • Recreate, Truncate, Append, Do not Loadの4つのアクション中から、行う作業を選択します。今回はデータの複製を行うので、Recreateを選びます。「保存されていない変更があります。」という注意が表示されたら、必要に応じてフロッピーディスクのアイコンをクリックし、作業の内容を保存してください。保存ができたら、緑色の三角印の実行ボタンを押してください。
     

データが複製されたかを確認

1. Database Actionsの起動パッドに戻ります。この時点ではQTEAMユーザーでログインしているかと思います。ログアウトして、QTEAM_TARGETユーザーでログインし直します。

2. 起動パッドから、データカタログの項目を選択します。
   

3. しばらく待つと、以下のようにQTEAMスキーマから複製されたMOVIESALES_2020Q2の表の情報が表示されます。
   

まとめ

本記事ではData Transformsを用いて、異なるスキーマ間においてデータを複製をさせてみました。

参考資料

• OCIチュートリアル, Oracle Database編, 403 : Data Transformsを使ってみよう
• LiveLabs Oracle Data Integrator Web Edition - Intro to Data Transforms
• Oracle Blogs, Introducing Data Transforms: Built in Data Integration for Autonomous Database
• Oracle Blogs, Replicating data from heterogenous sources to the Autonomous Database using the Data Transforms tool