はじめに
DBMS_CLOUDパッケージに、クラウド・ストレージ上にあるファイルの一括操作を行うための以下のプロシージャが追加されました。
- DBMS_CLOUD.BULK_COPY
- DBMS_CLOUD.BULK_MOVE
- DBMS_CLOUD.BULK_DOWNLOAD
- DBMS_CLOUD.BULK_UPLOAD
- DBMS_CLOUD.BULK_DELETE
ということで、早速検証してみました。
こちらのプロシージャを使用すると、
・クラウド・ストレージ（バケット）からのデータロード終了後に、ファイルを別のクラウド・ストレージ（バケット）に移動する
・クラウド・ストレージ（バケット）からのデータロード終了後に、バケット内のファイル全て削除する
・OCI以外のクラウド・ストレージからOCI Object Storageへのデータの移動を、サーバやローカルストレージを介さずに行える
といったことが簡単に行えるようになります。
こちらの検証では、OCI Object Storageのアクセスにリソース・プリンシパル、Amazon S3のアクセスにARNを用いたロールベースの認証を使用しています。
それぞれの設定方法の詳細は、以下のマニュアルおよび記事をご参照ください。
- リソース・プリンシパル
- AWS ARNを用いたロールベースの認証
1. DBMS_CLOUD.BULK_COPYプロシージャ
DBMS_CLOUD.BULK_COPYプロシージャを使用して、Object Storageのバケット間でデータをコピーしてみます。
コピー元となるSourceBucketというバケットを作成し、以下の5つのファイルをアップロードしました。
testdata1.txt
testdata2.txt
testdata3.txt
testdata4.txt
testdata5.txt
また、コピー先となるTargetBucketというバケットを作成しました。
では、早速DBMS_CLOUD.BULK_COPYプロシージャを実行して、SourceBucket内にあるファイルを一括でTargetBucket内にコピーしてみます。
Object Storageバケット間でファイルのコピーを行うには、source_credential_nameにクレデンシャル、source_location_uriにコピー元となるバケット、target_location_uriにコピー先となるバケットを指定して、DBMS_CLOUD.BULK_COPYを実行します。
SQL> BEGIN
2 DBMS_CLOUD.BULK_COPY (
3 source_credential_name => 'OCI$RESOURCE_PRINCIPAL',
4 source_location_uri => 'https://objectstorage.ap-tokyo-1.oraclecloud.com/n/nrhnlrqdttaw/b/SourceBucket/o',
5 target_location_uri => 'https://objectstorage.ap-tokyo-1.oraclecloud.com/n/nrhnlrqdttaw/b/TargetBucket/o'
6 );
7 END;
8 /
PL/SQLプロシージャが正常に完了しました。
SQL>
TargetBucketの内容を確認します。
「他のアクション」から「リフレッシュ」をクリックして、表示内容を更新します。
5つのファイルがコピー元に指定したSourceBucketからコピーされていることが確認できました。
2. DBMS_CLOUD.BULK_DELETEプロシージャ
次に、DBMS_CLOUD.BULK_DELETEプロシージャを利用して、バケット内のファイルを一括で削除してみます。
Object Storageバケット内のファイルの一括削除を行うには、credential_nameにクレデンシャル、location_uriに対象を指定して、DBMS_CLOUD.BULK_DELETEを実行します。
ここでは、TargetBucketを指定して実行してみます。
SQL> BEGIN
2 DBMS_CLOUD.BULK_DELETE (
3 credential_name => 'OCI$RESOURCE_PRINCIPAL',
4 location_uri => 'https://objectstorage.ap-tokyo-1.oraclecloud.com/n/nrhnlrqdttaw/b/TargetBucket/o'
5 );
6 END;
7 /
PL/SQLプロシージャが正常に完了しました。
SQL>
TargetBucketの詳細ページで、「他のアクション」から「リフレッシュ」をクリックします。
TargetBucket内の全てのファイルが削除されていることが確認できました。
3. DBMS_CLOUD.BULK_MOVEプロシージャ
DBMS_CLOUD.BULK_MOVEプロシージャを使用して、Object Storageのバケット間でデータを移動してみます。
Object Storageバケット間でファイルの移動を行うには、source_credential_nameにクレデンシャル、source_location_uriに移動元となるバケット、target_location_uriに移動先となるバケットを指定して、DBMS_CLOUD.BULK_MOVEを実行します。
では、早速DBMS_CLOUD.BULK_MOVEプロシージャを実行して、SourceBucket内にあるファイルを一括でTargetBucket内に移動してみます。
SQL> BEGIN
2 DBMS_CLOUD.BULK_MOVE (
3 source_credential_name => 'OCI$RESOURCE_PRINCIPAL',
4 source_location_uri => 'https://objectstorage.ap-tokyo-1.oraclecloud.com/n/nrhnlrqdttaw/b/SourceBucket/o',
5 target_location_uri => 'https://objectstorage.ap-tokyo-1.oraclecloud.com/n/nrhnlrqdttaw/b/TargetBucket/o'
6 );
7 END;
8 /
PL/SQLプロシージャが正常に完了しました。
SQL>
TargetBucketの内のファイルを確認してみます。
TargetBucketの詳細ページで、「他のアクション」から「リフレッシュ」をクリックします。
SourceBucketにあった5つのファイルがあることが確認できました。
次に、SourceBucketの内のファイルを確認してみます。
SourceBucketの詳細ページで、「他のアクション」から「リフレッシュ」をクリックします。
SourceBucketにあった5つのファイルがTargetBucketに移動していることが確認できました。
4. DBMS_CLOUD.BULK_COPYプロシージャによる異なるクラウド・ストレージ間でのファイルのコピー
DBMS_CLOUDパッケージは、OCI Object Storage以外のクラウド・ストレージも操作対象にすることが可能です。
OCI Object StorageのTaargetBucketからAWS S3のmy-s3-bucket-for-adbにファイルを一括コピーしてみます。
コピー元となるクラウド・ストレージにアクセスするためのクレデンシャルをsource_credential_nameに、コピー先となるクラウド・ストレージにアクセスするためのクレデンシャルをtarget_credential_nameに設定します。
また、コピー元となるバケットをsource_location_uri に、コピー先となるバケットをtarget_location_uriに指定して、DBMS_CLOUD.BULK_COPYを実行します。
では、早速DBMS_CLOUD.BULK_COPYプロシージャを実行して、 OCI Object StorageのバケットTargetBucket内にあるファイルを一括でAWS S3のバケットmy-s3-bucket-for-adb内にコピーしてみます。
SQL> BEGIN
2 DBMS_CLOUD.BULK_COPY (
3 source_credential_name => 'OCI$RESOURCE_PRINCIPAL',
4 target_credential_name => 'AWS_S3_CRED',
5 source_location_uri => 'https://objectstorage.ap-tokyo-1.oraclecloud.com/n/nrhnlrqdttaw/b/TargetBucket/o',
6 target_location_uri => 'https://my-s3-bucket-for-adb.s3.ap-northeast-1.amazonaws.com/'
7 );
8 END;
9 /
PL/SQLプロシージャが正常に完了しました。
SQL>
バケットmy-s3-bucket-for-adbのオブジェクトのタブを表示します。
更新ボタンをクリックして、表示内容を更新します。
OCI Object StorageのバケットSourceBucket内にあるファイルが一括でAWS S3のバケットmy-s3-bucket-for-adb内にコピーされたことが確認できました。
5. DBMS_CLOUD.BULK_MOVEプロシージャによる異なるクラウド・ストレージ間でのファイルの移動
最後に、AWS S3のバケットmy-s3-bucket-for-adbにあるファイルをOCI Object StorageのバケットSourceBucketに一括で移動してみます。
SQL> BEGIN
2 DBMS_CLOUD.BULK_MOVE (
3 source_credential_name => 'AWS_S3_CRED',
4 target_credential_name => 'OCI$RESOURCE_PRINCIPAL',
5 source_location_uri => 'https://my-s3-bucket-for-adb.s3.ap-northeast-1.amazonaws.com/',
6 target_location_uri => 'https://objectstorage.ap-tokyo-1.oraclecloud.com/n/nrhnlrqdttaw/b/SourceBucket/o'
7 );
8 END;
9 /
PL/SQLプロシージャが正常に完了しました。
SQL>
バケットmy-s3-bucket-for-adbのオブジェクトのタブを表示します。
更新ボタンをクリックして、表示内容を更新します。
バケットmy-s3-bucket-for-adb内から全てのファイルがなくなっていることが確認できました。
SourceBucketの詳細ページで、「他のアクション」から「リフレッシュ」をクリックします。
S3バケットmy-s3-bucket-for-adb内の全てのファイルが、Object StorageのバケットSourceBucketに移動されていることが確認できました。
まとめ
DBMS_CLOUDパッケージを使用して、クラウド・ストレージ内のファイルの一括操作（コピー/移動/削除）ができることが確認できました。
実際には、処理の並列度を制御したり、正規表現を使用してバケット内の一部のファイルのみを処理の対象とするといったことも可能なので、今後いろいろと試してみたいと思います。