はじめに
本記事は、Autonomous Database（ADB）でParquetファイルをロードするときのメモ
DBMS_CLOUDパッケージを利用する方法などもあるが、ここではGUI（Database Actions）を使った方法について記載。
Parquetファイルを扱うモチベーション
Open Targets Platformのデータ利活用準備（データベースのテーブル化）をシンプルに実現したい
事前準備
リソースプリンシパルの有効化
ADBから任意のクラウドストレージにアクセスするための認可を設定
→ ここでは、OCIのリソースプリンシパルを用いることで、安全にADBからクラウドストレージにアクセス可能とする
参考： Autonomous Databaseでリソースプリンシパルを有効化する
データの準備
Object Storageにデータをロード
ここでは以下の手順でopentargetsのデータをObject Storageにコピーします。
- Wgetを使ってローカル環境にデータを保存
- 保存したデータとObject Storageとをrsyncで同期
Wgetを使ってローカル環境にデータを保存
# Wgetを使ってローカル環境にデータを保存
cd ${work directory}
wget -r \
-np \
-nH \
--cut-dirs=6 \
-R "index.html*" \
ftp://ftp.ebi.ac.uk/pub/databases/opentargets/platform/25.03/output/association_by_datasource_direct/
# 保存したデータとObject Storageとをrsyncで同期
oci os object bulk-upload -ns ${your Name Space} -bn ${your bucket name} --src-dir .
シナリオ1: （簡易アプローチ）Database Actionsの利用
概要
Database Actionsを利用して、GUIでデータをロード
実現ステップ
- Database Actions/Data Studio/Loadの起動
- ロード対象ファイルの選択
- ロード実行
- 確認
-
Database Actions/Data Studio/Loadの起動
-
ロード対象ファイルの選択
「データ・ロード」→ 「クラウド・ストア」を選択
クラウド・ストアの場所を選択
OCIバケット/adbを選択
該当するフォルダを選択して、右側にドラッグアンドドロップ
「はい」を選択
↓と同じような状態になっているとOK
名前のところをクリック
設定内容を確認（自動で以下のような設定となっている）
プレビューでデータが入っていることを確認
（参考）実際に実行されるSQL
CREATE TABLE "PARQUET"."ASSOCIATION_BY_DATASOURCE_DIRECT"
(
"DATATYPEID" VARCHAR2(32767)
,"DATASOURCEID" VARCHAR2(32767)
,"DISEASEID" VARCHAR2(32767)
,"TARGETID" VARCHAR2(32767)
,"SCORE" BINARY_DOUBLE
,"EVIDENCECOUNT" NUMBER(19,0)
);
DECLARE
l_TABLE_NAME DBMS_QUOTED_ID := '"ASSOCIATION_BY_DATASOURCE_DIRECT"';
l_CREDENTIAL_NAME DBMS_QUOTED_ID := '"OCI$RESOURCE_PRINCIPAL"';
l_FILE_URI_LIST CLOB :=
q'[https://objectstorage.ap-tokyo-1.oraclecloud.com/n/orasejapan/b/adb/o/association_by_datasource_direct/*.parquet]';
l_FIELD_LIST CLOB := null;
l_FORMAT CLOB :=
'{
"schema" : "first",
"type" : "parquet",
"logprefix" : "ASSOCIATION_BY_DATASOURCE_DIRECT"
}';
l_SCHEMA_NAME DBMS_QUOTED_ID := '"PARQUET"';
l_OPERATION_ID NUMBER ; /* OUT */
BEGIN
"C##CLOUD$SERVICE"."DBMS_CLOUD"."COPY_DATA"
( TABLE_NAME => l_TABLE_NAME
,CREDENTIAL_NAME => l_CREDENTIAL_NAME
,FILE_URI_LIST => l_FILE_URI_LIST
,FIELD_LIST => l_FIELD_LIST
,FORMAT => l_FORMAT
,SCHEMA_NAME => l_SCHEMA_NAME
,OPERATION_ID => l_OPERATION_ID
);
END;
/
DECLARE
l_ACTIONS CLOB :=
'{
"tableName" : "ASSOCIATION_BY_DATASOURCE_DIRECT",
"postIngestActions" :
[
{
"type" : "columnTrim"
}
]
}';
BEGIN
"C##ADP$SERVICE"."DBMS_INGEST_ACTIONS"."RUN_POST"(l_ACTIONS);
END;
/
ロード実行
「開始」をクリック
ロード中のステータス確認
- 確認
SQL Developer WEB（Database Actions/SQL）でデータがロードされているかを確認
