7
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Oracle Autonomous AI Database(ADB)の Database Actions には、データのロード・分析・共有などを行う Data Studio があります。Data Studio には Data Load、Data Analysis、Data Insights、Catalog、Data Share などのツールが含まれます。

今回は、その中の機能のひとつである Catalog Tool について紹介します。

image.png

Catalog とは?

Catalog は「どこに、どんなデータがあるかを探すための目録」 です。

たとえば図書館で本を探すとき、本棚を1つずつ見るのではなく、検索端末で「タイトル」「著者」「分類」を調べます。Catalog Tool は、ADB や外部データソースに対して、これと似た役割をします。

ポイントは、このカタログをADB 上のテーブルやビューだけでなく、他のデータベース、クラウドストレージ、AWS Glue や OCI Data Catalog などの外部カタログにあるデータもまとめて探せる点です。

Catalog は 名前付きスキーマの集合として定義されています。各スキーマには、TABLE や VIEW などの名前付きオブジェクトが含まれます。 Oracle Database には LOCAL というローカル・カタログがあり、その実体は データ・ディクショナリです。このローカル・カタログは常に存在し、削除できません。一方で、外部の Catalog の場合、DB Link 経由のオブジェクト、DBMS_SHARE 経由の共有オブジェクト、Iceberg REST Catalog、AWS Glue、Databricks Unity Catalog、OCI Data Catalog など、データベース外で定義されたオブジェクト群を ADB から Catalog として扱うものです。

Catalog Tool でできること

Catalog Tool では、ADB 内や接続済みの外部システムにあるデータを 検索・プレビュー・利用 できます。対象は、テーブル、ビュー、列、クラウド上のファイル、Cloud Storage Link、Data Catalog Link、Database Link などです。

主な使いどころは次のとおりです。

  • ADB 内のテーブルやビューを探す
  • 他の ADB や DB Link 先のデータを探す
  • OCI Object Storage、AWS S3、Azure、Google Cloud などのクラウドストレージ上のデータを探す
  • AWS Glue や OCI Data Catalog のような外部データカタログを検索する
  • Delta Sharing などで共有されたデータを見つける
  • 見つけたデータをロード、リンク、フィードして ADB で使う

Catalog Tool を使うには

Autonomous Databaseの詳細画面から「データベース・アクション」を開きます。
image.png

Data Studio」から「カタログ」をクリックすることで、Catalog Toolにアクセスできます。

image.png

または、セレクターアイコン「≡」をクリックし、Data Studioメニューから 「カタログ」を選択します。

image.png

作成された表とビューが表示されています。

image.png

検索バーが表示されます。まず画面上部のフィルターボタンから検索したいアセットの種類を選択し、次に名前でオブジェクトを検索してください。

image.png

接続」では、外部データカタログやデータベースへの接続など、Data Studioに登録されている接続を確認・検索できます。
image.png

表やビューに自然言語で説明を付けておくことができます。
image.png

説明の追加」から「自動生成」をクリックすることで、自動で説明を加えることも出来ます。
image.png

image.png

※自動生成を利用するには、「設定」画面からAIプロファイルが作成されている必要があります。
設定方法は、以下を参照してください。

外部のデータソースの追加の仕方

Catalog Tool では、外部のデータソースを Catalog としてマウントできます。

ここでいうマウントは、データを必ずコピーするという意味ではありません。外部システムへの接続を Catalog に登録し、そのメタデータを ADB から検索・参照できるようにするイメージです。

マウントできる例として、他の Autonomous Database、DB Link で接続できるデータベース、Delta Sharing の共有データ、AWS Glue、OCI Data Catalog などがあります。

外部 Catalog は、Catalog を扱うための PL/SQL API DBMS_CATALOG パッケージでマウント・アンマウント・プロパティ管理・資格証明管理・スキーマや表などのエンティティ操作を行います。

マウントされた Catalog は、データベース上では名前を持つ管理対象として扱われます。たとえば Iceberg Catalog を ICEBERG_CAT という名前でマウントすると、ALL_TABLES@ICEBERG_CAT で表一覧を見たり、A_SCHEMA.A_TABLE@ICEBERG_CAT のように参照したりすることができます。また、マウント済み Catalog は ALL_MOUNTED_CATALOGS ビューに表示されます。

外部 Catalog のメタデータは、必要に応じてローカルDBにキャッシュされます。PROP_CACHE_ENABLED が有効な場合、リモート・スキーマのメタデータは初回アクセス時にキャッシュされ、PROP_CACHE_DURATION で指定された期間保持されます。無効な場合は、Catalog 内のオブジェクトへアクセスするたびにリモートのメタデータ・ソースへ問い合わせます。

検索のしかた

Catalog の画面では、検索欄にキーワードを入力してデータを探します。検索対象はフィルタで切り替えられます。

代表的なフィルタには、テーブルとビューを探す Tables and Views、クラウドストレージ上のファイルを探す Files、データベースやクラウド上のデータオブジェクトを広く探す Data Objects、接続情報を探す Connections などがあります。

Metadata Enrichment でカタログに意味を追加する

Catalog Tool には Metadata Enrichment という機能もあります。これは、カタログ上のデータに対して、タグやカスタムプロパティを追加し、業務的な意味づけを行うための機能です。

Metadata Enrichment で追加できる主な情報は、キーワードで分類する Tags と、名前と値のペアで情報を付ける Custom Properties です。これらはテーブル、列、ビュー、共有データなどに付けられ、権限があればローカル Catalog だけでなくリモート Catalog のエンティティにも追加できます。

タグとは、エンティティに短い意味のある注釈を付けて説明するラベルのことです。
たとえば、売上系のテーブルに #sales、人事系のテーブルに #hr のようなタグを付けておくと、後から目的のデータを探しやすくなります。
検索する際、複数のタグで検索する場合は、コンマ繋ぎで検索します。

#sales, #hr, #finance

タグの追加」からタグをつけることができます。
image.png

カスタム・プロパティは、名前と値のペアで構成される注釈です。
カスタム・プロパティの例は次のとおりです。

#CREATED_BY= “new user”

たとえば、等しい ( =)、等しくない ( !=) LIKE、より大きい ( >)、より小さい ( <) などの演算子を使用して検索をすることもできます。

対象の表やビューの詳細画面から「カスタム・プロパティ」を選択し、「カスタム・プロパティの編集」から追加できます。
image.png

単に「データがどこにあるか」を見つけるだけでなく、そのデータが何のためのものか、どう分類されるものかまで整理できるのが Metadata Enrichment の役割です。Oracle のドキュメントでは、検索性の向上に加えて、AI エージェント、NL2SQL、自動化、ガバナンスなどの後続処理にも役立つと説明されています。

権限が必要

Catalog Tool を利用するには、ユーザーに DWROLE ロールが付与されている必要があります。これが付与されていない場合、そのユーザーでDatabase Actions にアクセスした際に Catalog Tool 自体が表示されません。

また、外部のデータカタログ(マルチカタログ機能)を利用するには、追加で ORACLE_CATALOGS ロールが必要です。このロールがない場合は、ADB 内のローカルカタログのみ利用可能で、外部カタログはマウントできません。

まとめ

ADB の Catalog Tool は、データそのものを管理するというより、「どこにどんなデータがあるか」を見つけるためのデータ目録です。

ADB 内のテーブルだけでなく、他の ADB、オンプレミス DB、クラウドストレージ、AWS Glue、OCI Data Catalog、Delta Sharing なども横断的に探せます。データ分析を始める前の「まず必要なデータを見つける」作業を楽にしてくれる機能、と理解すると分かりやすいです。

参考

  • カタログ・ツール - カタログの参照と検索

  • Using Oracle Autonomous AI Database Serverless - The Data Studio Overview Page

  • Using Oracle Autonomous AI Database Serverless - The Catalog Tool - Metadata Enrichment

7
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
7
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?